A novel multi-sequence optimization framework for nonlinear regression with gradient boosting machines
Gradyan artırmalı makinelerle doğrusal olmayan regresyon için çoklu sekanslı yeni bir optimizasyon çerçevesi
- Tez No: 983223
- Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Gradyan Artırmalı Makineler (GBM'ler), özellikle tablo verisine dayalı problemlerde, geniş bir makine öğrenimi uygulama yelpazesinde sürekli olarak ileri düzey performans sergiler. Ancak alttaki optimizasyon mekanizması büyük ölçüde açgözlü bir fonksiyonel gradyan inişine dayanır. Bu klasik yaklaşım etkili olsa da, gürültü altında yola bağımlı olabilir ve küresel olarak optimal olmayan modellere yol açan yerel olarak optimal güncellemelere eğilimlidir. Bu temel sınırlamaları gidermek için, modern optimizasyon ilkelerini doğrudan gradyan artırma sürecine entegre eden çoklu sekanslı bir çerçeve öneriyoruz. Nesterov'un ivmelendirilmiş gradyanı gibi vektör tabanlı optimize edicilerin doğrudan uyarlamalarını denemek yerine, yöntemimiz stokastik primal ortalama (SPA) esinli ayrıştırılmış bir mimari kullanır. Bu mimari, Adam gibi modern optimize edicilerin mekaniklerini zayıf öğrenenler için ilkesel öğrenme sinyallerine çeviren bir dizi uyarlanabilir hedef güncelleyicisinin inşa edildiği sağlam bir temel sunar. Standart düzgünlük ve kuvvetli dışbükeylik varsayımları altında temel modelimiz için doğrusal yakınsama kanıtını da içeren kuramsal bir analiz sağlıyoruz. Deneysel sonuçlarımız, LightGBM ve diğer karşılaştırma yöntemlerine kıyasla kararlılık ve doğrulukta önemli iyileşmeler göstererek, çerçevemizin optimizasyon yörüngesi üzerinde yeni bir kontrol düzeyi sunarken GBM'leri pratik kılan sadelik ve modülerliği koruduğunu ve bunun daha sağlam ve güçlü gradyan artırma modellerine yol açtığını kanıtlamaktadır.
Özet (Çeviri)
Gradient Boosting Machines (GBMs) consistently achieve state-of-the-art performance on a wide range of machine learning applications, particularly for problems tabular data. However, their underlying optimization mechanism largely relies on a greedy form of functional gradient descent. This classical approach, while effective, can be path-dependent under noise and prone to locally optimal updates that yield globally suboptimal models. To address these fundamental limitations, we propose a multi-sequence framework that integrates principles from modern optimization directly into the gradient boosting process.Unlike prior work that attempts direct adaptations of vector-based optimizers such as Nesterov's accelerated gradient, our method employs a decoupled architecture inspired by stochastic primal averaging (SPA). This architecture provides a stable foundation upon which we build a series of adaptive target updaters that translate the mechanics of modern optimizers such as Adam into principled learning signals for weak learners. We provide a theoretical analysis, including a linear convergence proof for our base model under standard smoothness and strong convexity assumptions. Our experimental results demonstrate significant improvements in stability and accuracy over LightGBM and other baselines, proving our framework's ability to offer a new level of control over the optimization trajectory while preserving the simplicity and modularity that make GBMs practical, leading to more robust and powerful gradient boosting models.
Benzer Tezler
- Design and optimization of variable stiffness composite structures modeled using Bézier curves
Bézier eğrileriyle modellenen değişken katılıklı kompozit yapıların tasarımı ve optimizasyonu
ONUR COŞKUN
Doktora
İngilizce
2022
Makine Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. HALİT SÜLEYMAN TÜRKMEN
- Dört rotorlu insansız hava araçları için fizik rehberli artık geri beslemeli sinir ağı ile çok ajanlı dağıtılmış lineer olmayan model öngörülü formasyon kontrolü
Multi-agent distributed nonlinear model predictive formation control for quadrotor UAVs using a physics-guided residual feedback neural network
DENİZ MUHACİR
Yüksek Lisans
Türkçe
2026
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. YAPRAK YALÇIN
- Hava kalitesi tahminlemesi için bir yöntem gerçekleştirilmesi
A methodological framework for air quality forecasting
DERYA AKBAYIR
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMaltepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN MURAT ESİN
- A holistic design optimization method for LLC converters in light electric vehicle chargers
Hafif elektrikli araç şarj cihazlarındaki LLC dönüştürücüler için bütünsel bir tasarım optimizasyon yöntemi
ABDULSAMED LORDOĞLU
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DOÇ. DR. DERYA AHMET KOCABAŞ
DOÇ. DR. MEHMET ONUR GÜLBAHÇE
- Emergency safe landing trajectory planning and control of a damaged airplane
Hasarlı bı̇r uçağın acı̇l güvenlı̇ ı̇nı̇ş yörünge planlaması ve kontrolü
DAVOOD ASADIHENDOUSTANI
Doktora
Farsça
2014
Havacılık ve Uzay MühendisliğiAmırkabır Unıversıty Of TechnologyHavacılık ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHDİ SABZEHPARVAR