Generating an explainable time-series forecasting using heterogeneous mixture of experts with large language models
Büyük dil modelleriyle birlikte farklı yapıda uzmanların karışımını kullanarak açıklanabilir bir zaman serisi tahmini oluşturma
- Tez No: 897482
- Danışmanlar: DOÇ. DR. FULYA GÖKALP YAVUZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, İstatistik, Computer Engineering and Computer Science and Control, Statistics
- Anahtar Kelimeler: Derin öğrenme, Gelecek değer tahmini, Makine öğrenmesi, Deep learning, Future value forecast, Machine learning
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Zaman serisi tahmini üç farklı metodolojiyi içerir: istatistiksel modeller, makine öğrenimi modelleri ve derin öğrenme modelleri. Zaman serisi tahminlemede çalışırken, eğilim, mevsimsellik ve verilerin otomatik korelasyonu gibi özellikleri anlamak ve modellere dahil etmek çok önemlidir. İstatistiksel modeller, gelecekteki değerlerin tahmin edilmesini sağlamak için bu özellikleri birleştirir. Makine öğrenimi modelleri, karmaşık veri yapılarındaki karmaşık korelasyonları yakalamak için sağlam yetenekler sunar. Ancak derin öğrenme modelleri kara kutular gibi çalışır. İstatistiksel modeller, tahminlerde bulunmak için önceki değerleri ve hata terimlerini kullanır ve her parametrenin etkisinin net bir şekilde açıklanmasına olanak tanır. Makine öğrenimi modelleri, modelin dahili olarak nasıl işlediğini açıklayan ve tahminleri veya kararları nasıl yaptığını açıklayan yöntemleri içerir. Ancak derin öğrenme modelleri bunların arasında en az şeffaf olanıdır. Yaklaşımımız, derin öğrenme modellerini uzman olarak kullanan ve aynı zamanda karar alma süreçlerinin şeffaflığını artıran bir uzmanların karışımı çerçevesi geliştirmeyi içerir. Bu yaklaşımın yenilik yönü, geçit ağı olarak büyük dil modelinin kullanılmasıdır. Ancak, büyük dil modeli omurgası geçit ağında dondurulmuş olarak kullanılır. İstemler ve yerleştirmeler, zaman serisi tahmini için uygunluklarını sağlamak üzere değiştirilir. Sistem, tahmin, açıklanabilirlik için tahmine güven atama veya uzman modellere ağırlık atama ve muhakeme çıktılarını üretir. Sonuçlar, derin öğrenme modellerini bir uzmanların karışımı çerçevesine dahil ederek, tahminlerinin ardındaki nedenlere ilişkin içgörüler çıkarabildiğimizi göstermektedir; bu içgörüler, modellerin kendi başlarına açıklayamadığı içgörülerdir.
Özet (Çeviri)
Time series forecasting involves three distinct methodologies: statistical models, machine learning (ML) models, and deep learning (DL) models. When working with time series forecasting, it is crucial to understand and include features such as trend, seasonality, and auto-correlation of the data into the models. Statistical models incorporate these characteristics in order to enable the forecasting of future values. ML models offer robust capabilities for capturing complex correlations in complicated data structures. However, DL models work as black boxes. Statistical models utilize previous values and error terms to make predictions, allowing for a clear explanation of the impact of each parameter. ML models include methods that explain how the model functions internally, clarifying how it makes predictions or decisions. However, DL models are the least transparent among them. Our approach involves developing a Mixture of Experts (MoE) framework that uses DL models as experts while also enhancing the transparency of their decision-making processes. A novel aspect of this approach is the use of a Large Language Model (LLM) as the gating network. However, the LLM backbone is frozen in the gating network. The prompts and embeddings are modified to ensure their suitability for time series forecasting. The system outputs prediction, explainability which assigns confidence to prediction or weight assignment to expert models, and reasoning. The results demonstrate that by incorporating DL models into a MoE framework, we were able to extract insights into the reasons behind their predictions that the models could not explain on their own.
Benzer Tezler
- Demiryolu ağında trafik sayımlarından O-D matrisi tahmini
Başlık çevirisi yok
ZEYNEP AĞCI
Yüksek Lisans
Türkçe
1998
İnşaat Mühendisliğiİstanbul Teknik ÜniversitesiUlaştırma Ana Bilim Dalı
PROF. DR. HALUK GERÇEK
- An empirical study of the effectiveness of loyalty programs and moderating factors in the case of a UK retailer
Sadakat programlarının başarısının ve buna etki eden faktörlerin İngiltere'deki bir firmanın verileri üzerinden empirik incelemesi
TAYLAN ÖZTEKİN
Yüksek Lisans
İngilizce
2019
İşletmeİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞE BANU ELMADAĞ BAŞ
- Şehir eski merkezlerinde görülen işlevsel ve mekansal farklılaşmalar -Afyaonkarahisar örneği ile ilgili bir araştırma
Başlık çevirisi yok
GÜLDEN DEMET ORUÇ
Yüksek Lisans
Türkçe
1996
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiPROF.DR. CENGİZ GİRİTOĞLU
- How cryptographic implementations affect mobile agent systems
Şifreleme gerçekleştirmelerinin gezgin aracı internet sistemlerini nasıl etkilediği
İSMAİL ULUKUŞ
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN ANARIM
- Yeryüzü deformasyonlarının izlenmesinde adaptif bölgesel yapay zeka sistemi: InSAR örneği
Adaptive regional artificial intelligence system in the monitoring of ground deformations: An InSAR example
BURAK CAN KARA
Doktora
Türkçe
2025
Jeodezi ve FotogrametriSivas Cumhuriyet ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. KEMAL ÖZGÜR HASTAOĞLU