Incorporating piecewise linear functions with constant regions in backpropagation
Sabit bölgeli parçalı doğrusal fonsiyonların geri yayılım algoritmasına dahil edilmesi
- Tez No: 921438
- Danışmanlar: PROF. DR. SİNAN KALKAN, DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Birçok temel problemi çözmek ---örneğin Gezgin Satıcı (TS), En Kısa Yol (SP) ve Çizge İzleme (GM)--- için parçalı doğrusal sabit aralıklı fonksiyonların (PFC) kullanılması gerekir. Bu fonksiyonları derin sinir ağlarında (DNN) kullanmak umut vaat etse de, bu entegrasyon gradyan tabanlı yinelemeli optimizasyon için önemli bir zorluk oluşturur. Öyle ki, derin sinir ağlarında de kullanılan geleneksel geri yayılım yöntemleri, bu fonksiyonlarla karşılaştıklarında, sıfır veya tanımsız türevin eğitimi durdurmasından dolayı, çalışmaz ve sorun yaşarlar. Çeşitli sezgisel gradyan benzetimleri geliştirilmiş olsa da, bu yaklaşımlar genellikle probleme özgü ve/veya kuramsal temelden yoksun kalmaktadır. Bu tez, PFC katmanları üzerinden gradyan benzetimi için birleşik ve kuramsal açıdan sağlam bir metodoloji ihtiyacını ele almaktadır. İlk olarak, mevcut tekniklerin kapsamlı bir incelemesi ve karşılaştırmalı analizi sunularak, yöntemlerin çeşitliliğine rağmen ortak bir temel ilkeye dayandığı vurgulanmıştır. Bu analizden hareketle, bilinen benzetimleri özel durumlar olarak temsil edebilen ve yeni varyantların geliştirilmesine ilham veren Genelleştirilmiş Güncelleme (Generalized Update - GU) yöntemi tanıtılmıştır. Ayrıca, DEtection TRansformer (DETR) gibi modellerde türevi alınamayan etiket atamasını değiştirmek amacıyla Optimal Taşıma (OT) kuramı entegre edilerek, OT tabanlı çözümlerin ayrık karar süreçlerini iyileştirebileceği gösterilmiştir. Genel olarak, tez, Genelleştirilmiş Güncelleme yönteminin nesne tespiti, kombinatoryel optimizasyon ve kuantizasyon gibi alanlarda etkinliğini deneysel olarak doğrulamaktadır. Bu yaklaşım, bu fonksiyonların derin sinir ağlarına entegrasyonu için sağlam bir temel sunarak, gradyan tabanlı optimizasyon yöntemlerinin kapsamını ve uygulanabilirliğini genişletmektedir.
Özet (Çeviri)
Solving many fundamental problems, such as travelling salesman (TS), shortest path (SP), and graph matching (GM), requires the use of piecewise linear functions with constant regions (PFC). Although using such functions in deep neural networks (DNN) is promising, integrating a PFC into a DNN poses a significant challenge for gradient-based iterative optimizations. That is, traditional backpropagation methods struggle when encountering PFCs in DNN pipelines, leading to zero or undefined gradients that stall training. Although various heuristics-based gradient approximations exist, these approaches often remain task-specific and theoretically ungrounded. This thesis addresses the need for a unified and theoretically sound methodology for gradient approximation through PFC layers. First, it provides a comprehensive review and comparative analysis of existing techniques, highlighting that, despite their diversity, most methods share a common underlying principle. Building on these insights, the thesis introduces the Generalized Update (GU) as a unifying framework capable of representing known approximations as special cases and inspiring the development of new variants. The thesis also integrates Optimal Transport (OT) theory to replace non-differentiable label assignment in models like DEtection TRansformer (DETR), demonstrating how OT-based solutions can enhance tasks involving discrete decision-making. Overall, the thesis empirically validates the Generalized Update method's effectiveness across multiple domains, including object detection, combinatorial optimization, and quantization. By closing the theoretical gap, offering a unified perspective, and validating the proposed approach in practice, this work provides a robust foundation for incorporating PFCs into DNN pipelines, ultimately broadening the scope and applicability of gradient-based optimization methods.
Benzer Tezler
- Diferansiyel denklemlerin anti-periyodik çözümleri ve ekonominin kaldor modelinde bir uygulaması
Anti-periodic solutions of differential equations and an application to the kaldor models of economics
FATMA YILDIZ ÖZDEMİR
- İ.T.Ü. Fakültelerinin araştırma etkinlikleri sekreterliğinden yararlanma etkinliklerinin veri zarflama analizi ile belirlenmesi
Determining the relative efficiencies of the faculties of İstanbul Technical University in their relationships with the research activities secretary
SİNAN SÖL
Yüksek Lisans
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. FÜSUN ÜLENGİN
- Karma sistemlerin tümleyen değişkenli modelleri
Complementarity modeling of hybrid system
SELİM TÜRKYILMAZ
Yüksek Lisans
Türkçe
1999
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. KÜLMİZ ÇEVİK
- Bilgisayar ile tümdevre metal maskesinin sentezi
Başlık çevirisi yok
HALİL YEŞİLÇİMEN
Yüksek Lisans
Türkçe
1987
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU