Generating an explainable time-series forecasting using heterogeneous mixture of experts with large language models
Büyük dil modelleriyle birlikte farklı yapıda uzmanların karışımını kullanarak açıklanabilir bir zaman serisi tahmini oluşturma
- Tez No: 897482
- Danışmanlar: DOÇ. DR. FULYA GÖKALP YAVUZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, İstatistik, Computer Engineering and Computer Science and Control, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 92
Özet
Zaman serisi tahmini üç farklı metodolojiyi içerir: istatistiksel modeller, makine öğrenimi modelleri ve derin öğrenme modelleri. Zaman serisi tahminlemede çalışırken, eğilim, mevsimsellik ve verilerin otomatik korelasyonu gibi özellikleri anlamak ve modellere dahil etmek çok önemlidir. İstatistiksel modeller, gelecekteki değerlerin tahmin edilmesini sağlamak için bu özellikleri birleştirir. Makine öğrenimi modelleri, karmaşık veri yapılarındaki karmaşık korelasyonları yakalamak için sağlam yetenekler sunar. Ancak derin öğrenme modelleri kara kutular gibi çalışır. İstatistiksel modeller, tahminlerde bulunmak için önceki değerleri ve hata terimlerini kullanır ve her parametrenin etkisinin net bir şekilde açıklanmasına olanak tanır. Makine öğrenimi modelleri, modelin dahili olarak nasıl işlediğini açıklayan ve tahminleri veya kararları nasıl yaptığını açıklayan yöntemleri içerir. Ancak derin öğrenme modelleri bunların arasında en az şeffaf olanıdır. Yaklaşımımız, derin öğrenme modellerini uzman olarak kullanan ve aynı zamanda karar alma süreçlerinin şeffaflığını artıran bir uzmanların karışımı çerçevesi geliştirmeyi içerir. Bu yaklaşımın yenilik yönü, geçit ağı olarak büyük dil modelinin kullanılmasıdır. Ancak, büyük dil modeli omurgası geçit ağında dondurulmuş olarak kullanılır. İstemler ve yerleştirmeler, zaman serisi tahmini için uygunluklarını sağlamak üzere değiştirilir. Sistem, tahmin, açıklanabilirlik için tahmine güven atama veya uzman modellere ağırlık atama ve muhakeme çıktılarını üretir. Sonuçlar, derin öğrenme modellerini bir uzmanların karışımı çerçevesine dahil ederek, tahminlerinin ardındaki nedenlere ilişkin içgörüler çıkarabildiğimizi göstermektedir; bu içgörüler, modellerin kendi başlarına açıklayamadığı içgörülerdir.
Özet (Çeviri)
Time series forecasting involves three distinct methodologies: statistical models, machine learning (ML) models, and deep learning (DL) models. When working with time series forecasting, it is crucial to understand and include features such as trend, seasonality, and auto-correlation of the data into the models. Statistical models incorporate these characteristics in order to enable the forecasting of future values. ML models offer robust capabilities for capturing complex correlations in complicated data structures. However, DL models work as black boxes. Statistical models utilize previous values and error terms to make predictions, allowing for a clear explanation of the impact of each parameter. ML models include methods that explain how the model functions internally, clarifying how it makes predictions or decisions. However, DL models are the least transparent among them. Our approach involves developing a Mixture of Experts (MoE) framework that uses DL models as experts while also enhancing the transparency of their decision-making processes. A novel aspect of this approach is the use of a Large Language Model (LLM) as the gating network. However, the LLM backbone is frozen in the gating network. The prompts and embeddings are modified to ensure their suitability for time series forecasting. The system outputs prediction, explainability which assigns confidence to prediction or weight assignment to expert models, and reasoning. The results demonstrate that by incorporating DL models into a MoE framework, we were able to extract insights into the reasons behind their predictions that the models could not explain on their own.
Benzer Tezler
- Early diagnosis of acute myocardial infarction using ECG signals with explainable artificial intelligence
Akut Miyokard Enfarktüsü'nün EKG sinyalleri üzerinden açıklanabilir yapay zekâ ile erken tanısı
TOYGAR TANYEL
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. İLKAY ÖKSÜZ
- Test verilerine dayalı, makine öğrenmesi ve derin öğrenme yöntemleri ile batarya sağlık durumu tahmini
Battery state of health estimation based on test data using machine learning and deep learning methods
MEHMET ALİ ARSLANTAŞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- A novel approach for generating instance-based plausible and proximate counterfactual explanations
Örnek tabanlı makul ve yakın karşı olgusal açıklama üretmeye dayalı yeni bir yaklaşım
YAĞIZ LEVENT GÜME
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiVeri Mühendisliği ve İş Analitiği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKAN IŞIKLI
- Açıklanabilir yapay zeka yöntemleri ile toprak tuzluluğu haritalarının üretilmesi
Soil salinity mapping using explainable artificial intelligence methods
SAMET AKSOY
Yüksek Lisans
Türkçe
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- A concept-aware explainability method for convolutional neural networks
Evrişimsel sinir ağlarinin açiklanabilirliği için kavram bilinçli bir yöntem
MUSTAFA KAĞAN GÜRKAN
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NAFİZ ARICA