Geri Dön

Competing labels: A heuristic approach to pseudo-labeling in deep semi-supervised learning

Yarışan etiketler: Yarı denetimli derin öğrenmedeki sözde etiketlemeye buluşsal bir yaklaşım

  1. Tez No: 720193
  2. Yazar: HAMDİ BURAK BAYRAK
  3. Danışmanlar: DOÇ. DR. ŞEYDA ERTEKİN BOLELLİ, DOÇ. DR. HAMDULLAH YÜCEL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Uygulamalı Matematik Enstitüsü
  11. Ana Bilim Dalı: Bilimsel Hesaplama Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 87

Özet

Yarı denetimli öğrenme, derin öğrenme modellerinin büyük miktarda etiketli veriye olan bağımlılığını azaltmada yoğun şekilde faydalanılan yaklaşımlardan biridir. Bu yaklaşımda çoğunlukla kullanılan metot sözde etiketlemedir. Ancak, sözde etiketleme, özellikle orjinal formu, atanan etiketler hatalı olduğu zaman, gürültülü eğitimden önemli bir ölçüde olumsuz etkilenmektedir. Bu problemin etkisini azaltmak için çalışmamızda, sinir ağına gönderilen gradyanı inceliyor ve yarışan etiketler metodunu öne sürüyoruz. Bu metotta kayıp fonksiyonunu ve sözde etiketleri, modelin aldığı gradyanın birden fazla eksi eleman içermesini sağlayacak şekilde seçiyoruz. Metodumuzu MNIST, Fashion-MNIST, ve KMNIST veri kümelerinde test ediyor ve sunduğumuz metodun orjinal çalışmadaki metoda kıyasla daha iyi bir genelleştirme performansına sahip olduğunu gösteriyoruz.

Özet (Çeviri)

Semi-supervised learning is one of the dominantly utilized approaches to reduce the reliance of deep learning models on large-scale labeled data. One mostly used method of this approach is pseudo-labeling. However, pseudo-labeling, especially its originally proposed form tends to remarkably suffer from noisy training when the assigned labels are false. In order to mitigate this problem, in our work, we investigate the gradient sent to the neural network and propose a heuristic method, called competing labels. In this method, we arrange the loss function and choose the pseudo-labels in a way that the gradient the model receives contains more than one negative element. We test our method on MNIST, Fashion-MNIST, and KMNIST datasets and show that our method has a better generalization performance compared to the originally proposed pseudo-labeling method.

Benzer Tezler

  1. Superpixel assisted deep neural network for breast tumor segmentation in ultrasound images

    Süperpiksel destekli derin sinir ağı ile meme ultrason görüntülerinde tümör segmentasyonu

    NEFİSE UYSAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU

    ÖĞR. GÖR. MURAT GEZER

  2. Deyim derlemi oluşturmak için oyunlaştırılmış kitle kaynak kullanımı

    Gamified crowdsourcing for idiom corpora construction

    ALİ ŞENTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GÜLŞEN ERYİĞİT

  3. Perakende piyasalarında dayanıksız tüketim ürünleri ile ilgili gelişmeler -bireysel markalı ürünlerde satın alma davranışı

    Developments regarding fast moving consumer goods at retail markets-buying behavior at the private label products

    K. SELÇUK TUZCUOĞLU

    Doktora

    Türkçe

    Türkçe

    1999

    İşletmeİstanbul Teknik Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. SELİME SEZGİN