Robust deep learning under distribution shift: invariant feature learning and reliabletest-time adaptation
Dağılım kayması altında gürbüz derin öğrenme: Değişmez öznitelik öğrenimi ve güvenilir test zamanı uyarlaması
- Tez No: 990261
- Danışmanlar: DOÇ. DR. HAMDİ DİBEKLİOĞLU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenme modelleri, eğitim sırasında karşılaşılan veri dağılımlarından farklı dağılımlara sahip ortamlarda kullanıldıklarında ciddi performans düşüşlerine sebep olabilmekte ve bu durum dağılım kayması problemi olarak bilinmektedir. Alan Genellemesi (Domain Generalization, DG), hedef alan verilerine erişmeden görülmemiş alanlara genellenebilen modeller öğrenmeyi amaçlasa da, son çalışmalar birçok DG yönteminin ampirik risk minimizasyonuna kıyasla sınırlı iyileştirmeler sağladığını ve alana özgü yanıltıcı özelliklere bağımlı kaldığını göstermektedir. Bu tezde, öncelikle, yanıltıcı ve değişmez özellikleri ayrıştırmayı amaçlayan Specific Domain Training (SDT) yöntemi önerilmekte; alana özgü örnekleme, maskeleme ve varyans farkındalıklı ağırlık ortalaması ile DG performansının iyileştirildiği gösterilmektedir. Tezin ikinci bölümünde, etiketlenmemiş test verilerini kullanarak modeli test sırasında uyarlayan Test Zamanı Uyarlaması (Test-Time Adaptation, TTA) yöntemleri ele alınmaktadır. Mevcut TTA yaklaşımlarının gürültülü sahte etiketlere bağımlılığı ve kaynak alan bilgisini yeterince kullanamama sorunlarını gidermek amacıyla üç yöntem sunulmaktadır: SATA, kaynak alanlara ait stil istatistiklerini kullanarak güvenilir test örneklerini seçer ve kararlı uyarlama sağlar; AdaPAC, sınıfa özgü kümeleme ile elde edilen alt sınıf prototiplerini kullanarak sınıf içi yapıyı dikkate alan bir uyarlama gerçekleştirir; Shift-ACT ise kaynak ve hedef dağılımlar arasındaki farkları sınıf bazında ölçerek dinamik eşikleme ile güvenilir örnek seçimini mümkün kılar. Bu çalışmalar, yanıltıcı ipuçlarına olan bağımlılığı azaltıp güvenilir örnek seçimini iyileştirerek, dağılım kaymaları altında DG ve TTA yöntemlerinin gürbüzlüğünü artırmaktadır.
Özet (Çeviri)
Deep learning models often suffer significant performance degradation when deployed in environments whose data distributions differ from those encountered during training. This distribution shift remains a central challenge for robust visual recognition. Although Domain Generalization (DG) strives to learn models that generalize to unseen domains without accessing target data, recent studies show that many DG techniques yield limited improvements over empirical risk minimization due to reliance on spurious, domain-specific features. To address this issue, the first part of this thesis introduces Specific Domain Training (SDT), a method that disentangles spurious and invariant features via specific-domain sampling, masking, and variance-aware weight averaging. SDT improves both theoretical robustness and practical performance on DG benchmarks. The second part of the thesis focuses on Test-Time Adaptation (TTA), which adapts a pretrained model to incoming test samples without labels. Existing TTA methods often rely on noisy pseudo-labels and fail to leverage informative structure from source domains. To mitigate these limitations, we develop three complementary approaches. SATA uses source-domain style statistics to identify style-invariant test samples, ensuring stable entropy minimization while regularizing unreliable samples through consistency constraints. AdaPAC leverages subclass prototypes extracted using class-specific clustering to capture intra-class structure, selecting test samples that align well with source clusters and adapting the model with prototype-guided contrastive objectives. Shift-ACT introduces shift-aware, class-specific dynamic thresholding based on confidence discrepancies between source and target distributions, enabling reliable sample selection under class-wise distribution shifts. Together, these contributions advance the reliability of DG and TTA by reducing reliance on spurious cues, improving sample selection, and enabling robust adaptation under distribution shifts.
Benzer Tezler
- Enhancing multimodal drug-target interaction prediction with domain adaptation
Alan adaptasyonu ile çok kipli ilaç-hedef etkileşim tahmininin iyileştirilmesi
ARDAN YILMAZ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Prof. Dr. MEHMET HALİT SEYFULLAH OĞUZTÜZÜN
PROF. DR. MEHMET VOLKAN ATALAY
- Türkiye enerji piyasasının makine öğrenmesi uygulamasıyla düşük-karbon salımına geçişte ajan temelli modellenmesi
Turkish energy market agent-based modeling for low-carbon transition with machine learning application
BURAK GÖKÇE
Doktora
Türkçe
2026
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilimi ve Teknolojileri Ana Bilim Dalı
PROF. DR. GÜLGÜN KAYAKUTLU
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN
- Improved mambabda framework for robust building damage assessment across disaster domains
Farklı afet türlerinde bina hasar değerlendirmesi için geliştirilmiş mambabda çerçevesi
ALP EREN GENÇOĞLU
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Robust and adaptive deep reinforcement learning
Gürbüz ve uyarlanabilir derin pekiştirmeli öğrenme
SUZAN ECE ADA
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE UĞUR
PROF. DR. ERHAN ÖZTOP