Self-training for unsupervised domain adaptation
Denetimsiz alan uyarlama için kendi-kendine öğrenme
- Tez No: 762339
- Danışmanlar: PROF. DR. UĞUR HALICI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 149
Özet
Derin öğrenme tekniklerinin olağanüstü performansına rağmen, yüksek performansa ulaşmak genellikle büyük miktarda etiketlenmiş veri gerektirir. Etiketleme maliyetleri nedeniyle, insanlar halka açık veri kümelerini veya maliyetsizce oluşturulmuş etiketlerle sentetik görüntüleri kullanmayı düşünürler. Ne yazık ki, derin sinir ağları, alan kaymasına karşı özellikle hassastır. Alan kaymasını azaltma yöntemleri, alan uyarlaması (AU) altında incelenir. Sözde etiketleme için etiketlenmemiş verilerin bir alt kümesini seçen kendi kendine eğitim yöntemleri, son zamanlarda AU yöntemleri için kullanılmıştır. Bu çalışmalar genellikle yanlış sözde etiketleri ortadan kaldırmak için bir güven eşiğinden yararlanır. Güvene dayalı yaklaşımlar, verilerin bağımsız ve aynı şekilde dağıtıldığını varsayan düşük yoğunluklu ayırma hipotezine dayanır. Ancak, kaynak ve hedef alanları aynı dağılımı paylaşmadığından kaynak alanında eğitilen model için hedef alanda düşük yoğunluklu ayırma hipotezi geçerli olmayabilir. Bu durum, hedef alanına özgü bir sözde etiketleme metriğinin gerekliliğini ortaya koymaktadır. Bu tezde, birkaç kendi kendine eğitim tabanlı denetimsiz AU yöntemi öneriyoruz. Yöntemlerimizi görünür ve termal spektrum gibi farklı modalitelerde, sınıflandırma ve semantik segmentasyon gibi farklı görevler için ve klasik ve kaynaksız AU gibi farklı senaryolarda değerlendiriyoruz. İlk olarak, termal ve RGB modalitelerinde çekişmeli AU yöntemlerinin genelleştirme yeteneklerini teşvik etmek için kendi kendine eğitim rehberli bir çekişmeli AU yöntemi öneriyoruz. Ardından, bu tezin ana katkısı olarak, kendi kendine eğitime daha iyi rehberlik sağlamak için hedef alanda tanımlanan bir metrik öğrenme yaklaşımı tasarlıyoruz. Klasik ve kaynaksız AU senaryolarında anlamsal bölütleme görevleri için metriğimizi kullanıyoruz. Deneysel sonuçlar, önerilen metriğin üstünlüğünü ve kendi kendine eğitimin etkinliğini göstermektedir.
Özet (Çeviri)
Despite the outstanding performance of deep learning techniques, achieving high performance generally demands large amounts of labeled data. Because of the labeling costs, people consider utilizing public datasets or synthetic images with freely generated labels. Unfortunately, deep neural networks are notably sensitive to domain misalignment. The methods to reduce domain misalignment are studied under domain adaptation (DA). Self-training, which selects a subset of the unlabeled data for pseudo-labeling, has been exploited for DA methods lately. These studies usually exploit a confidence threshold to eliminate inaccurate pseudo-labels. Confidence-based approaches rely on the low-density separation hypothesis, which assumes data is independent and identically distributed. However, the low-density separation hypothesis for the target domain for the model trained in the source domain may not hold since the source, and target domains do not share the same distribution. This situation reveals the necessity of a pseudo-labeling metric specific to the target domain. In this thesis, we propose several self-training-based unsupervised DA methods. We evaluate our methods in different modalities such as visible and thermal spectrum, for different tasks such as classification and semantic segmentation, and in different scenarios such as classical and source-free DA. First, we propose a self-training guided adversarial DA method to promote the generalization capabilities of adversarial DA methods in thermal to RGB modalities. Then, as the main contribution of this thesis, we design a metric learning approach defined in the target domain to enable better guidance for self-training. We use our metric for semantic segmentation tasks in classical and source-free DA scenarios. The experimental results show the superiority of the proposed metric and the effectiveness of the self-training.
Benzer Tezler
- Character generation through self supervised vectorization
Gözetimsiz öğrenme ile karakter vektörizasyonu
GÖKÇEN GÖKÇEOĞLU
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilişsel Bilim Ana Bilim Dalı
PROF. DR. HÜSEYİN CEM BOZŞAHİN
DR. ÖĞR. ÜYESİ EMRE AKBAŞ
- Improving self-attention based transformer performance for morphologically rich languages
Morfolojik açıdan zengin diller için öz dikkat tabanlı dönüştürücü performansının iyileştirilmesi
YİĞİT BEKİR KAYA
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Elektrokardiyogram verilerinin iyileştirilmiş yapay arı kolonisi (MABC) algoritması ile analizi
Analysis of electrocardiogram data by using modified artificial bee colony (MABC) algorithm
SELİM DİLMAÇ
Doktora
Türkçe
2017
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TAMER ÖLMEZ
- Self-supervised learning for unsupervised image classification and supervised localization tasks
Denetimsiz görüntü sınıflandırma ve denetimli yer saptama görevleri için öz-denetimli öğrenme
MELİH BAYDAR
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE AKBAŞ
- Uydu verileri ile İstanbul Boğazı ve Haliç'de su kirliliğinin makro düzeyde belirlenmesi
Intrepretation at macro level as pollution of water resources of remotely sensed data of Bosphorus and golden horn estuary by an unsupervised and supervised classification method
H.GONCA COŞKUN