Geri Dön

Self-training for unsupervised domain adaptation

Denetimsiz alan uyarlama için kendi-kendine öğrenme

  1. Tez No: 762339
  2. Yazar: İBRAHİM BATUHAN AKKAYA
  3. Danışmanlar: PROF. DR. UĞUR HALICI
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 149

Özet

Derin öğrenme tekniklerinin olağanüstü performansına rağmen, yüksek performansa ulaşmak genellikle büyük miktarda etiketlenmiş veri gerektirir. Etiketleme maliyetleri nedeniyle, insanlar halka açık veri kümelerini veya maliyetsizce oluşturulmuş etiketlerle sentetik görüntüleri kullanmayı düşünürler. Ne yazık ki, derin sinir ağları, alan kaymasına karşı özellikle hassastır. Alan kaymasını azaltma yöntemleri, alan uyarlaması (AU) altında incelenir. Sözde etiketleme için etiketlenmemiş verilerin bir alt kümesini seçen kendi kendine eğitim yöntemleri, son zamanlarda AU yöntemleri için kullanılmıştır. Bu çalışmalar genellikle yanlış sözde etiketleri ortadan kaldırmak için bir güven eşiğinden yararlanır. Güvene dayalı yaklaşımlar, verilerin bağımsız ve aynı şekilde dağıtıldığını varsayan düşük yoğunluklu ayırma hipotezine dayanır. Ancak, kaynak ve hedef alanları aynı dağılımı paylaşmadığından kaynak alanında eğitilen model için hedef alanda düşük yoğunluklu ayırma hipotezi geçerli olmayabilir. Bu durum, hedef alanına özgü bir sözde etiketleme metriğinin gerekliliğini ortaya koymaktadır. Bu tezde, birkaç kendi kendine eğitim tabanlı denetimsiz AU yöntemi öneriyoruz. Yöntemlerimizi görünür ve termal spektrum gibi farklı modalitelerde, sınıflandırma ve semantik segmentasyon gibi farklı görevler için ve klasik ve kaynaksız AU gibi farklı senaryolarda değerlendiriyoruz. İlk olarak, termal ve RGB modalitelerinde çekişmeli AU yöntemlerinin genelleştirme yeteneklerini teşvik etmek için kendi kendine eğitim rehberli bir çekişmeli AU yöntemi öneriyoruz. Ardından, bu tezin ana katkısı olarak, kendi kendine eğitime daha iyi rehberlik sağlamak için hedef alanda tanımlanan bir metrik öğrenme yaklaşımı tasarlıyoruz. Klasik ve kaynaksız AU senaryolarında anlamsal bölütleme görevleri için metriğimizi kullanıyoruz. Deneysel sonuçlar, önerilen metriğin üstünlüğünü ve kendi kendine eğitimin etkinliğini göstermektedir.

Özet (Çeviri)

Despite the outstanding performance of deep learning techniques, achieving high performance generally demands large amounts of labeled data. Because of the labeling costs, people consider utilizing public datasets or synthetic images with freely generated labels. Unfortunately, deep neural networks are notably sensitive to domain misalignment. The methods to reduce domain misalignment are studied under domain adaptation (DA). Self-training, which selects a subset of the unlabeled data for pseudo-labeling, has been exploited for DA methods lately. These studies usually exploit a confidence threshold to eliminate inaccurate pseudo-labels. Confidence-based approaches rely on the low-density separation hypothesis, which assumes data is independent and identically distributed. However, the low-density separation hypothesis for the target domain for the model trained in the source domain may not hold since the source, and target domains do not share the same distribution. This situation reveals the necessity of a pseudo-labeling metric specific to the target domain. In this thesis, we propose several self-training-based unsupervised DA methods. We evaluate our methods in different modalities such as visible and thermal spectrum, for different tasks such as classification and semantic segmentation, and in different scenarios such as classical and source-free DA. First, we propose a self-training guided adversarial DA method to promote the generalization capabilities of adversarial DA methods in thermal to RGB modalities. Then, as the main contribution of this thesis, we design a metric learning approach defined in the target domain to enable better guidance for self-training. We use our metric for semantic segmentation tasks in classical and source-free DA scenarios. The experimental results show the superiority of the proposed metric and the effectiveness of the self-training.

Benzer Tezler

  1. Character generation through self supervised vectorization

    Gözetimsiz öğrenme ile karakter vektörizasyonu

    GÖKÇEN GÖKÇEOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilişsel Bilim Ana Bilim Dalı

    PROF. DR. HÜSEYİN CEM BOZŞAHİN

    DR. ÖĞR. ÜYESİ EMRE AKBAŞ

  2. Improving self-attention based transformer performance for morphologically rich languages

    Morfolojik açıdan zengin diller için öz dikkat tabanlı dönüştürücü performansının iyileştirilmesi

    YİĞİT BEKİR KAYA

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET CÜNEYD TANTUĞ

  3. Elektrokardiyogram verilerinin iyileştirilmiş yapay arı kolonisi (MABC) algoritması ile analizi

    Analysis of electrocardiogram data by using modified artificial bee colony (MABC) algorithm

    SELİM DİLMAÇ

    Doktora

    Türkçe

    Türkçe

    2017

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. TAMER ÖLMEZ

  4. Self-supervised learning for unsupervised image classification and supervised localization tasks

    Denetimsiz görüntü sınıflandırma ve denetimli yer saptama görevleri için öz-denetimli öğrenme

    MELİH BAYDAR

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. EMRE AKBAŞ

  5. Uydu verileri ile İstanbul Boğazı ve Haliç'de su kirliliğinin makro düzeyde belirlenmesi

    Intrepretation at macro level as pollution of water resources of remotely sensed data of Bosphorus and golden horn estuary by an unsupervised and supervised classification method

    H.GONCA COŞKUN

    Doktora

    Türkçe

    Türkçe

    1992

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    PROF. DR. CANKUT ÖRMECİ