Self-training for unsupervised domain adaptation
Denetimsiz alan uyarlama için kendi-kendine öğrenme
- Tez No: 762339
- Danışmanlar: PROF. DR. UĞUR HALICI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Alan uyarlaması, Makine öğrenmesi, Sinir ağları, Domain adaptation, Machine learning, Nerve net
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenme tekniklerinin olağanüstü performansına rağmen, yüksek performansa ulaşmak genellikle büyük miktarda etiketlenmiş veri gerektirir. Etiketleme maliyetleri nedeniyle, insanlar halka açık veri kümelerini veya maliyetsizce oluşturulmuş etiketlerle sentetik görüntüleri kullanmayı düşünürler. Ne yazık ki, derin sinir ağları, alan kaymasına karşı özellikle hassastır. Alan kaymasını azaltma yöntemleri, alan uyarlaması (AU) altında incelenir. Sözde etiketleme için etiketlenmemiş verilerin bir alt kümesini seçen kendi kendine eğitim yöntemleri, son zamanlarda AU yöntemleri için kullanılmıştır. Bu çalışmalar genellikle yanlış sözde etiketleri ortadan kaldırmak için bir güven eşiğinden yararlanır. Güvene dayalı yaklaşımlar, verilerin bağımsız ve aynı şekilde dağıtıldığını varsayan düşük yoğunluklu ayırma hipotezine dayanır. Ancak, kaynak ve hedef alanları aynı dağılımı paylaşmadığından kaynak alanında eğitilen model için hedef alanda düşük yoğunluklu ayırma hipotezi geçerli olmayabilir. Bu durum, hedef alanına özgü bir sözde etiketleme metriğinin gerekliliğini ortaya koymaktadır. Bu tezde, birkaç kendi kendine eğitim tabanlı denetimsiz AU yöntemi öneriyoruz. Yöntemlerimizi görünür ve termal spektrum gibi farklı modalitelerde, sınıflandırma ve semantik segmentasyon gibi farklı görevler için ve klasik ve kaynaksız AU gibi farklı senaryolarda değerlendiriyoruz. İlk olarak, termal ve RGB modalitelerinde çekişmeli AU yöntemlerinin genelleştirme yeteneklerini teşvik etmek için kendi kendine eğitim rehberli bir çekişmeli AU yöntemi öneriyoruz. Ardından, bu tezin ana katkısı olarak, kendi kendine eğitime daha iyi rehberlik sağlamak için hedef alanda tanımlanan bir metrik öğrenme yaklaşımı tasarlıyoruz. Klasik ve kaynaksız AU senaryolarında anlamsal bölütleme görevleri için metriğimizi kullanıyoruz. Deneysel sonuçlar, önerilen metriğin üstünlüğünü ve kendi kendine eğitimin etkinliğini göstermektedir.
Özet (Çeviri)
Despite the outstanding performance of deep learning techniques, achieving high performance generally demands large amounts of labeled data. Because of the labeling costs, people consider utilizing public datasets or synthetic images with freely generated labels. Unfortunately, deep neural networks are notably sensitive to domain misalignment. The methods to reduce domain misalignment are studied under domain adaptation (DA). Self-training, which selects a subset of the unlabeled data for pseudo-labeling, has been exploited for DA methods lately. These studies usually exploit a confidence threshold to eliminate inaccurate pseudo-labels. Confidence-based approaches rely on the low-density separation hypothesis, which assumes data is independent and identically distributed. However, the low-density separation hypothesis for the target domain for the model trained in the source domain may not hold since the source, and target domains do not share the same distribution. This situation reveals the necessity of a pseudo-labeling metric specific to the target domain. In this thesis, we propose several self-training-based unsupervised DA methods. We evaluate our methods in different modalities such as visible and thermal spectrum, for different tasks such as classification and semantic segmentation, and in different scenarios such as classical and source-free DA. First, we propose a self-training guided adversarial DA method to promote the generalization capabilities of adversarial DA methods in thermal to RGB modalities. Then, as the main contribution of this thesis, we design a metric learning approach defined in the target domain to enable better guidance for self-training. We use our metric for semantic segmentation tasks in classical and source-free DA scenarios. The experimental results show the superiority of the proposed metric and the effectiveness of the self-training.
Benzer Tezler
- Multi-task learning for scene understanding with domain adaptation
Alan uyarlaması ve çok-görevli öğrenme ile görsel sahne anlamlandırılması
SELİN CEYLAN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ÖNDER EFE
- Giyilebilir sensör verileri ile hayvan davranışı sınıflandırmada transfer öğrenme ve alan uyarlaması
Transfer learning and domain adaptation for animal behavior classification using wearable sensor data
FURKAN SAY
Yüksek Lisans
Türkçe
2026
Veteriner HekimliğiMersin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM ACI
- A hierarchical framework for preventing robot manipulation failures
Robot etkileşimlerinde hataları önlemek için çok-katmanlı güvenli yürütme mimarisi
ABDULLAH CİHAN AK
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
DOÇ. DR. EREN ERDAL AKSOY
- Improving self-attention based transformer performance for morphologically rich languages
Morfolojik açıdan zengin diller için öz dikkat tabanlı dönüştürücü performansının iyileştirilmesi
YİĞİT BEKİR KAYA
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Federated learning based face presentation attack detection
Federe öğrenme tabanlı yüz sunumu yanıltma atağı tespiti
MEHMET FATİH GÜNDOĞAR
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ÇİĞDEM EROĞLU ERDEM
DOÇ. DR. ÖMER KORÇAK