Generating an explainable time-series forecasting using heterogeneous mixture of experts with large language models
Büyük dil modelleriyle birlikte farklı yapıda uzmanların karışımını kullanarak açıklanabilir bir zaman serisi tahmini oluşturma
- Tez No: 897482
- Danışmanlar: DOÇ. DR. FULYA GÖKALP YAVUZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, İstatistik, Computer Engineering and Computer Science and Control, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 92
Özet
Zaman serisi tahmini üç farklı metodolojiyi içerir: istatistiksel modeller, makine öğrenimi modelleri ve derin öğrenme modelleri. Zaman serisi tahminlemede çalışırken, eğilim, mevsimsellik ve verilerin otomatik korelasyonu gibi özellikleri anlamak ve modellere dahil etmek çok önemlidir. İstatistiksel modeller, gelecekteki değerlerin tahmin edilmesini sağlamak için bu özellikleri birleştirir. Makine öğrenimi modelleri, karmaşık veri yapılarındaki karmaşık korelasyonları yakalamak için sağlam yetenekler sunar. Ancak derin öğrenme modelleri kara kutular gibi çalışır. İstatistiksel modeller, tahminlerde bulunmak için önceki değerleri ve hata terimlerini kullanır ve her parametrenin etkisinin net bir şekilde açıklanmasına olanak tanır. Makine öğrenimi modelleri, modelin dahili olarak nasıl işlediğini açıklayan ve tahminleri veya kararları nasıl yaptığını açıklayan yöntemleri içerir. Ancak derin öğrenme modelleri bunların arasında en az şeffaf olanıdır. Yaklaşımımız, derin öğrenme modellerini uzman olarak kullanan ve aynı zamanda karar alma süreçlerinin şeffaflığını artıran bir uzmanların karışımı çerçevesi geliştirmeyi içerir. Bu yaklaşımın yenilik yönü, geçit ağı olarak büyük dil modelinin kullanılmasıdır. Ancak, büyük dil modeli omurgası geçit ağında dondurulmuş olarak kullanılır. İstemler ve yerleştirmeler, zaman serisi tahmini için uygunluklarını sağlamak üzere değiştirilir. Sistem, tahmin, açıklanabilirlik için tahmine güven atama veya uzman modellere ağırlık atama ve muhakeme çıktılarını üretir. Sonuçlar, derin öğrenme modellerini bir uzmanların karışımı çerçevesine dahil ederek, tahminlerinin ardındaki nedenlere ilişkin içgörüler çıkarabildiğimizi göstermektedir; bu içgörüler, modellerin kendi başlarına açıklayamadığı içgörülerdir.
Özet (Çeviri)
Time series forecasting involves three distinct methodologies: statistical models, machine learning (ML) models, and deep learning (DL) models. When working with time series forecasting, it is crucial to understand and include features such as trend, seasonality, and auto-correlation of the data into the models. Statistical models incorporate these characteristics in order to enable the forecasting of future values. ML models offer robust capabilities for capturing complex correlations in complicated data structures. However, DL models work as black boxes. Statistical models utilize previous values and error terms to make predictions, allowing for a clear explanation of the impact of each parameter. ML models include methods that explain how the model functions internally, clarifying how it makes predictions or decisions. However, DL models are the least transparent among them. Our approach involves developing a Mixture of Experts (MoE) framework that uses DL models as experts while also enhancing the transparency of their decision-making processes. A novel aspect of this approach is the use of a Large Language Model (LLM) as the gating network. However, the LLM backbone is frozen in the gating network. The prompts and embeddings are modified to ensure their suitability for time series forecasting. The system outputs prediction, explainability which assigns confidence to prediction or weight assignment to expert models, and reasoning. The results demonstrate that by incorporating DL models into a MoE framework, we were able to extract insights into the reasons behind their predictions that the models could not explain on their own.
Benzer Tezler
- Açıklanabilir yapay zeka yöntemleri ile toprak tuzluluğu haritalarının üretilmesi
Soil salinity mapping using explainable artificial intelligence methods
SAMET AKSOY
Yüksek Lisans
Türkçe
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- 19. yüzyıl resim sanatında görsel anlatım ve sosyal oluşum açısından kostümün incelenmesi
Observation of costume for visual expression and social constitution in 19. century paintings
UMUT SAİM BALKIR
Yüksek Lisans
Türkçe
2008
Giyim EndüstrisiKocaeli ÜniversitesiPlastik Sanatlar Ana Sanat Dalı
DOÇ. DR. İSMET ÇAVUŞOĞLU
- Optimize edilmiş derin öğrenme modelleriyle yorumlanabilir ve doğru akıllı şebeke kararlılığı tahmini
Interpretable and accurate smart-grid stability prediction with optimized deep models
TÜRKÜCAN ERDEM
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN EKEN
- Applications of deep reinforcement learning for advanced driving assistance systems
İleri sürüş destek sistemleri için derin pekiştirmeli öğrenme uygulamaları
MUHARREM UĞUR YAVAŞ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- On understanding thecorrectness of explainable aialgorithms: An Empirical study
Başlık çevirisi yok
MEHMET ORÇUN YALÇIN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSwansea University / Prifysgol AbertaweYurtdışı Enstitü