Incorporating piecewise linear functions with constant regions in backpropagation
Sabit bölgeli parçalı doğrusal fonsiyonların geri yayılım algoritmasına dahil edilmesi
- Tez No: 921438
- Danışmanlar: PROF. DR. SİNAN KALKAN, DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 105
Özet
Birçok temel problemi çözmek ---örneğin Gezgin Satıcı (TS), En Kısa Yol (SP) ve Çizge İzleme (GM)--- için parçalı doğrusal sabit aralıklı fonksiyonların (PFC) kullanılması gerekir. Bu fonksiyonları derin sinir ağlarında (DNN) kullanmak umut vaat etse de, bu entegrasyon gradyan tabanlı yinelemeli optimizasyon için önemli bir zorluk oluşturur. Öyle ki, derin sinir ağlarında de kullanılan geleneksel geri yayılım yöntemleri, bu fonksiyonlarla karşılaştıklarında, sıfır veya tanımsız türevin eğitimi durdurmasından dolayı, çalışmaz ve sorun yaşarlar. Çeşitli sezgisel gradyan benzetimleri geliştirilmiş olsa da, bu yaklaşımlar genellikle probleme özgü ve/veya kuramsal temelden yoksun kalmaktadır. Bu tez, PFC katmanları üzerinden gradyan benzetimi için birleşik ve kuramsal açıdan sağlam bir metodoloji ihtiyacını ele almaktadır. İlk olarak, mevcut tekniklerin kapsamlı bir incelemesi ve karşılaştırmalı analizi sunularak, yöntemlerin çeşitliliğine rağmen ortak bir temel ilkeye dayandığı vurgulanmıştır. Bu analizden hareketle, bilinen benzetimleri özel durumlar olarak temsil edebilen ve yeni varyantların geliştirilmesine ilham veren Genelleştirilmiş Güncelleme (Generalized Update - GU) yöntemi tanıtılmıştır. Ayrıca, DEtection TRansformer (DETR) gibi modellerde türevi alınamayan etiket atamasını değiştirmek amacıyla Optimal Taşıma (OT) kuramı entegre edilerek, OT tabanlı çözümlerin ayrık karar süreçlerini iyileştirebileceği gösterilmiştir. Genel olarak, tez, Genelleştirilmiş Güncelleme yönteminin nesne tespiti, kombinatoryel optimizasyon ve kuantizasyon gibi alanlarda etkinliğini deneysel olarak doğrulamaktadır. Bu yaklaşım, bu fonksiyonların derin sinir ağlarına entegrasyonu için sağlam bir temel sunarak, gradyan tabanlı optimizasyon yöntemlerinin kapsamını ve uygulanabilirliğini genişletmektedir.
Özet (Çeviri)
Solving many fundamental problems, such as travelling salesman (TS), shortest path (SP), and graph matching (GM), requires the use of piecewise linear functions with constant regions (PFC). Although using such functions in deep neural networks (DNN) is promising, integrating a PFC into a DNN poses a significant challenge for gradient-based iterative optimizations. That is, traditional backpropagation methods struggle when encountering PFCs in DNN pipelines, leading to zero or undefined gradients that stall training. Although various heuristics-based gradient approximations exist, these approaches often remain task-specific and theoretically ungrounded. This thesis addresses the need for a unified and theoretically sound methodology for gradient approximation through PFC layers. First, it provides a comprehensive review and comparative analysis of existing techniques, highlighting that, despite their diversity, most methods share a common underlying principle. Building on these insights, the thesis introduces the Generalized Update (GU) as a unifying framework capable of representing known approximations as special cases and inspiring the development of new variants. The thesis also integrates Optimal Transport (OT) theory to replace non-differentiable label assignment in models like DEtection TRansformer (DETR), demonstrating how OT-based solutions can enhance tasks involving discrete decision-making. Overall, the thesis empirically validates the Generalized Update method's effectiveness across multiple domains, including object detection, combinatorial optimization, and quantization. By closing the theoretical gap, offering a unified perspective, and validating the proposed approach in practice, this work provides a robust foundation for incorporating PFCs into DNN pipelines, ultimately broadening the scope and applicability of gradient-based optimization methods.
Benzer Tezler
- İ.T.Ü. Fakültelerinin araştırma etkinlikleri sekreterliğinden yararlanma etkinliklerinin veri zarflama analizi ile belirlenmesi
Determining the relative efficiencies of the faculties of İstanbul Technical University in their relationships with the research activities secretary
SİNAN SÖL
Yüksek Lisans
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. FÜSUN ÜLENGİN
- Karma sistemlerin tümleyen değişkenli modelleri
Complementarity modeling of hybrid system
SELİM TÜRKYILMAZ
Yüksek Lisans
Türkçe
1999
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. KÜLMİZ ÇEVİK
- MoM analysis of conducting structures involving both surfaces and wires by using junction basis functions
İletken levha ve tel içeren yapıların birleşme yeri temel fonksiyonları kullanarak momentler yöntemiyle analizi
KUTLUHAN DEMİRCAN
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. LALE ALATAN
- Local search heuristics for pollution-routing problem with multiple vehicle types and deadlines
Çoklu araç tipi ve terminli kirlilik-rotalama problemi için yerel arama sezgiselleri
ONUR CAN SAKA
Yüksek Lisans
İngilizce
2013
Endüstri ve Endüstri MühendisliğiOrta Doğu Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. SİNAN GÜREL
PROF. DR. TOM VAN WOENSEL
- Solving large-scale transmission network problems
Büyük ölçekli elektrik dağıtım ağları modellemesi
DENİZ BEŞİK
Yüksek Lisans
İngilizce
2014
Endüstri ve Endüstri MühendisliğiSabancı ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ŞEVKET İLKER BİRBİL