Time and context sensitive optimization of machine learning models for sequential data prediction
Makine öğrenimi modellerinin sıralı veri tahmini için zaman ve bağlam duyarlı optimizasyonu
- Tez No: 878282
- Danışmanlar: PROF. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 95
Özet
Gerçek hayattaki zamansal serilerin, makine öğrenimi modellerinin ortak kombinasyonu yoluyla, doğrusal olmayacak şekilde tahminlenmesini araştırıyoruz. Bu bağlamda ilk olarak, zaman bilincine ve ortam duyarlılığına sahip yeni bir birlikte öğrenme metodu tanıtıyoruz. Bu süreç, belli bir kayıp fonksiyonunu hedef alan bir ağırlık optimizasyon problemi içerirken aynı zamanda temel öğrenicilerin doğrusal kombinasyonu üzerindeki kısıtlamaları da göz önünde bulunduruyor. Bu kısıtlamaları teorik olarak analiz ediyor ve birlikte öğrenim sırasında optimizasyon sürecinin bir parçası olarak ana öğreniciye otomatik olarak entegre ediyoruz. İkinci yöntemimiz olarak, makine öğrenimi modellerinin ortak optimizasyonu yoluyla eğitilmesini baz alarak, doğrusal ve doğrusal olmayan modellerin bir kombinasyonunu tanıtıyoruz. Burada gerçekleştirilen eğitim sırasında, her iki modelin parametrelerini son regresyon hatasını en aza indirecek şekilde ortaklaşa optimize ediyoruz. Bu ortak optimizasyon metodunu kullanarak, zamansal serilerin modellemesinde sıkça karşılaşılan yetersiz uyum ve ezberleme sorularının önüne geçiyoruz. Doğrusal modelimiz olarak geleneksel bir zamansal seri tahminleme modeli ve doğrusal olmayan modelimiz olarak ise gradyan destekli yumuşak karar ağaçları kullanıyoruz. Tanıttığımız bu iki yeni yöntemi kullanarak, gerçek hayat verileri ve bilinen yarışma veri setleri üzerinde, geleneksel birlikte öğrenme yöntemleri ve literatürdeki en iyi bilinen makine öğrenimi tahmin modellerine kıyasla belirgin performans iyileştirmeleri sergiliyoruz. Ayrıca, bu konu üzerinden ileriye yönelik araştırma ve karşılaştırma yapılmasını kolaylaştırmak amacıyla yöntemlerimizin kaynak kodlarını paylaşıyoruz.
Özet (Çeviri)
We investigate the nonlinear prediction of sequential time series data through the mixture/combination of machine learning models. First, we introduce a novel ensemble learning approach that effectively combines multiple base learners in a time-aware and context-sensitive manner. This process involves a weight optimization problem targeting a specific loss function while considering (non)convex constraints on the linear combination of base learners. These constraints are theoretically analyzed under known statistics and are automatically incorporated into the meta-learner as part of the optimization process during training. Next, we introduce a direct two-stage approach based on the combination of linear and nonlinear models, where we jointly optimize the parameters of both models to minimize the final regression error. By this joint optimization, we alleviate the well-known underfitting and overfitting problems in modeling sequential data. As the linear model, we use a traditional linear time series forecasting model (SARIMAX) and as the nonlinear model, we use boosted soft decision trees (Soft GBDT). For both of our approaches, we illustrate notable performance improvements on real-life data and well-known competition datasets compared to traditional ensemble/mixture techniques and state-of-the-art forecasting models in the machine learning literature. Additionally, we make the source code of both of our approaches publicly available to facilitate further research and comparison.
Benzer Tezler
- Test verilerine dayalı, makine öğrenmesi ve derin öğrenme yöntemleri ile batarya sağlık durumu tahmini
Battery state of health estimation based on test data using machine learning and deep learning methods
MEHMET ALİ ARSLANTAŞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- Darboğaz bir makinada metasezgisel yöntemlerletoplam hazırlık zamanı minimizasyonu
Minimization of total setup time on a bottleneck machine using metaheuristic methods
MUHAMMET AYDIN
Yüksek Lisans
Türkçe
2025
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HALİL İBRAHİM DEMİR
- XAU/USD prıce predıctıon usıng deep learnıng: hyperparameter optımızatıon wıth bayesıan, grey-wolf and genetıc algorıthms
Derin öğrenme kullanarak XAU/USD fiyat tahmini: bayes, gri kurt ve genetik algoritmalarla hiperparametre optimizasyonu
MELİS KÜÇÜK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ
- Perakende hazır giyim firmasında makine öğrenmesi yöntemleriyle satış tahmini
Sales forecasting in a retail fashion company using machine learning methods
ŞEYMA GÖNEN HALICI
Yüksek Lisans
Türkçe
2024
İşletmeİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ
- Federe öğrenme kullanılarak nesnelerin interneti (IOT) verileri analizi
Analyzing internet of things (IOT) data using federated learning
SÜLEYMAN BURAK ALTINIŞIK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TURGAY TUGAY BİLGİN