Time and context sensitive optimization of machine learning models for sequential data prediction
Makine öğrenimi modellerinin sıralı veri tahmini için zaman ve bağlam duyarlı optimizasyonu
- Tez No: 878282
- Danışmanlar: PROF. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 95
Özet
Gerçek hayattaki zamansal serilerin, makine öğrenimi modellerinin ortak kombinasyonu yoluyla, doğrusal olmayacak şekilde tahminlenmesini araştırıyoruz. Bu bağlamda ilk olarak, zaman bilincine ve ortam duyarlılığına sahip yeni bir birlikte öğrenme metodu tanıtıyoruz. Bu süreç, belli bir kayıp fonksiyonunu hedef alan bir ağırlık optimizasyon problemi içerirken aynı zamanda temel öğrenicilerin doğrusal kombinasyonu üzerindeki kısıtlamaları da göz önünde bulunduruyor. Bu kısıtlamaları teorik olarak analiz ediyor ve birlikte öğrenim sırasında optimizasyon sürecinin bir parçası olarak ana öğreniciye otomatik olarak entegre ediyoruz. İkinci yöntemimiz olarak, makine öğrenimi modellerinin ortak optimizasyonu yoluyla eğitilmesini baz alarak, doğrusal ve doğrusal olmayan modellerin bir kombinasyonunu tanıtıyoruz. Burada gerçekleştirilen eğitim sırasında, her iki modelin parametrelerini son regresyon hatasını en aza indirecek şekilde ortaklaşa optimize ediyoruz. Bu ortak optimizasyon metodunu kullanarak, zamansal serilerin modellemesinde sıkça karşılaşılan yetersiz uyum ve ezberleme sorularının önüne geçiyoruz. Doğrusal modelimiz olarak geleneksel bir zamansal seri tahminleme modeli ve doğrusal olmayan modelimiz olarak ise gradyan destekli yumuşak karar ağaçları kullanıyoruz. Tanıttığımız bu iki yeni yöntemi kullanarak, gerçek hayat verileri ve bilinen yarışma veri setleri üzerinde, geleneksel birlikte öğrenme yöntemleri ve literatürdeki en iyi bilinen makine öğrenimi tahmin modellerine kıyasla belirgin performans iyileştirmeleri sergiliyoruz. Ayrıca, bu konu üzerinden ileriye yönelik araştırma ve karşılaştırma yapılmasını kolaylaştırmak amacıyla yöntemlerimizin kaynak kodlarını paylaşıyoruz.
Özet (Çeviri)
We investigate the nonlinear prediction of sequential time series data through the mixture/combination of machine learning models. First, we introduce a novel ensemble learning approach that effectively combines multiple base learners in a time-aware and context-sensitive manner. This process involves a weight optimization problem targeting a specific loss function while considering (non)convex constraints on the linear combination of base learners. These constraints are theoretically analyzed under known statistics and are automatically incorporated into the meta-learner as part of the optimization process during training. Next, we introduce a direct two-stage approach based on the combination of linear and nonlinear models, where we jointly optimize the parameters of both models to minimize the final regression error. By this joint optimization, we alleviate the well-known underfitting and overfitting problems in modeling sequential data. As the linear model, we use a traditional linear time series forecasting model (SARIMAX) and as the nonlinear model, we use boosted soft decision trees (Soft GBDT). For both of our approaches, we illustrate notable performance improvements on real-life data and well-known competition datasets compared to traditional ensemble/mixture techniques and state-of-the-art forecasting models in the machine learning literature. Additionally, we make the source code of both of our approaches publicly available to facilitate further research and comparison.
Benzer Tezler
- Perakende hazır giyim firmasında makine öğrenmesi yöntemleriyle satış tahmini
Sales forecasting in a retail fashion company using machine learning methods
ŞEYMA GÖNEN HALICI
Yüksek Lisans
Türkçe
2024
İşletmeİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ
- Plastik enjeksiyon kalıplarında soğutma sisteminin üretilen parça kalitesi üzerine etkileri
Effects of the cooling system in plastic injection moldson the quality of the produced parts
HASRET YAVUZ
Yüksek Lisans
Türkçe
2023
Metalurji MühendisliğiSakarya ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ OSMAN KURT
- Basamaklı gerilim dalgalarının sincap kafesli motor momentine yaptığı etkilerin incelenmesi
The Investigation of effects of stepped-voltage wages upon torques of a souirrel cage motor
MAJİD MOHADDES
Yüksek Lisans
Türkçe
1993
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. FAİK MERGEN
- Sanal alışverişte algılanan riskin tüm kanallı (omni-channel) perakendecilik modellerinde hizmet kalitesi, müşteri memnuniyeti ve sanal satın alma niyeti açısından incelenmesi
The examination of perceived risk of online shopping in omni-channel retailing types with regards to service quality, customer satisfaction and online purchase intention
ELİF TÜRK