Novel joint optimization of gradient boosting decision trees and sarimax models for nonlinear time series regression using a state space approach
Durum uzayı yaklaşımı kullanılarak doğrusal olmayan zaman serisi regresyonu için gradyan artırıcı karar ağaçları ve sarımax modellerinin yeni birleşik optimizasyonu
- Tez No: 979240
- Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Doğrusal olmayan zaman serileri, Yapay zeka ve makine öğrenmesi dersi, Non-linear time series, Artificial intelligence and machine learning course
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çevrimiçi bir ortamda doğrusal olmayan regresyon veya tahminlemeyi araştırıyoruz ve doğrusal ve doğrusal olmayan modelleme arasındaki denge ve optimizasyon sürecinin kopuk doğası gibi iki temel zorluğu ele alan uçtan uca bir topluluk modeli öneriyoruz. Önerilen mimari, doğrusal bir zaman serisi modelini ve doğrusal olmayan bir yumuşak karar ağacı tabanlı modeli birleşik bir yapı içinde sorunsuz bir şekilde entegre ediyor. Özellikle, mimari, mevsimsellik ve trend gibi zaman serisi verilerindeki temel doğrusal örüntüleri yakalamak için Dışsal Regresörlü Mevsimsel Otoregresif Entegre Hareketli Ortalama (SARIMAX) modelini ve doğrusal olmayan bağımlılıkları modellemede ve özellikleri doğrudan ham girdilerden çıkarmada usta olan yumuşak gradyan artırıcı karar ağacını (SGBDT) kullanıyor. Genellikle sıralı ve kopuk eğitim stratejilerine dayanan mevcut en son hibrit yaklaşımlardan farklı olarak, literatürde ilk kez, hem doğrusal hem de doğrusal olmayan bileşenlerin aynı anda eğitildiği ortak olarak optimize edilmiş bir hibrit model sunuyoruz. Bu, ARMA tabanlı SARIMAX modelinin ve SGBDT'nin tek bir durum-uzay çerçevesine entegre edilmesini sağlayan, durum-uzay temsillerine dayalı yeni bir formülasyon aracılığıyla elde edilir. Türetilmiş durum geçişi ve ölçüm denklemlerinden yararlanarak ortak eğitim sürecini verimli bir şekilde gerçekleştirmek için doğrusal olmayan bir optimizasyon tekniği olan Genişletilmiş Kalman Filtresi'ni (EKF) kullanıyoruz. Ayrıca, mimari modüler ve genişletilebilir olup, durum temsilleri elde edildiği sürece alternatif doğrusal olmayan modellerin ve Üstel Düzeltme (ETS) gibi diğer doğrusal zaman serisi tekniklerinin değiştirilmesine veya eklenmesine olanak tanır. Optimizasyon bileşeni de esnektir ve EKF'nin Kokusuz Kalman Filtresi (UKF) veya Parçacık Filtreleri (PF) gibi diğer tekniklerle değiştirilmesini sağlar. İyi bilinen gerçek dünya veri kümeleri üzerinde yapılan kapsamlı deneyler sonucunda, önerilen yaklaşım üstün bir performans göstermiştir. Daha fazla araştırmayı desteklemek ve tekrarlanabilirliği sağlamak için kaynak kodu açık erişimli biçimde paylaşıyoruz.
Özet (Çeviri)
We investigate nonlinear regression or forecasting in an online setting and propose an end-to-end ensemble model that addresses two key challenges: the trade-off between linear and nonlinear modeling, and the disjoint nature of the optimization process. The proposed architecture seamlessly integrates a linear time series model and a nonlinear soft decision tree-based model within a unified structure. Specifically, the architecture employs a Seasonal Autoregressive Integrated Moving Average with Exogenous Regressors (SARIMAX) model to capture key linear patterns in time series data, such as seasonality and trend, alongside a soft gradient boosting decision tree (SGBDT), which is adept at modeling nonlinear dependencies and extracting features directly from raw inputs. Different from existing state-of-the-art hybrid approaches that typically rely on sequential and disjoint training strategies, for the first time in the literature, we introduce a jointly optimized hybrid model in which both the linear and nonlinear components are trained simultaneously. This is achieved through a novel formulation based on state-space representations, which allows the integration of the ARMA-based SARIMAX model and the SGBDT into a single state-space framework. We employ the Extended Kalman Filter (EKF), a nonlinear optimization technique, to efficiently perform the joint training process by leveraging derived state transition and measurement equations. Furthermore, the architecture is modular and extensible, allowing for the substitution or addition of alternative nonlinear models and other linear time series techniques, such as Exponential Smoothing (ETS), as long as state representations are obtained. The optimization component is also flexible, enabling the replacement of the EKF with other techniques such as the Unscented Kalman Filter (UKF) or Particle Filters (PF). Through extensive experiments on well-known real-world datasets, the proposed approach demonstrates superior performance. We provide the source code as a publicly available repository to support further research and ensure reproducibility.
Benzer Tezler
- Dağıtık sezim sistemlerinde beklenti kuramına dayalı başarım metrikleri için karar kuralları
Decision rules for prospect theory based performance metrics in distributed detection systems
EMRE EFENDİ
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. BERKAN DÜLEK
- Novel approaches to radar signal deinterleaving and geolocation in the framework of optimization and deep learning
Radar sinyal ayrıştırma ve konum bulma için optimizasyon ve derin öğrenme tabanlı yeni yaklaşımlar
MUSTAFA ATAHAN NUHOĞLU
Doktora
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN
- Kablosuz algılayıcı ağların ağ ömrünü maksimize etmek için iletim gücü seviyesi ile veri paket boyunun müşterek eniyilenmesi
Joint optimization of transmission power level and data packet size for wireless sensor network lifetime maximization
AYHAN AKBAŞ
Doktora
Türkçe
2016
Elektrik ve Elektronik MühendisliğiTobb Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET MURAT ÖZBAYOĞLU
PROF. DR. BÜLENT TAVLI
- Modeling and optimization of the PEM fuel cell catalyst layer
Başlık çevirisi yok
CANKUR FIRAT ÇETİNBAŞ
- Data driven optimization of structural and dynamical properties of parts manufactured via selective laser melting process using machine learning and finite element analysis methods
Seçici lazer ergitme prosesi ile üretilen parçaların yapısal ve dinamik özelliklerinin makine öğrenmesi ve sonlu elemanlar analizi yöntemleri kullanılarak veri odaklı optimizasyonu
CAN BARIŞ TOPRAK
Doktora
İngilizce
2024
Makine MühendisliğiHacettepe ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. CAN ULAŞ DOĞRUER