Geri Dön

Deep learning in the presence of label noise: A meta-learning approach

Kirli etiketlerin varlığında derin öğrenme: Meta-öğrenim yaklaşımı

PDF İndir

  1. Tez No: 667474
  2. Yazar: GÖRKEM ALGAN
  3. Danışmanlar: PROF. DR. İLKAY ULUSOY
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 121

Özet

Image classification systems recently made a giant leap with the advancement of deep neural networks. However, these systems require an excessive amount of labeled data to be adequately trained. Gathering a correctly annotated dataset is not always feasible due to practical challenges. Because of these practical challenges, label noise is a common problem in real-world datasets. This thesis presents two novel label noise robust learning algorithms: MSLG (Meta Soft Label Generation) and MetaLabelNet. Both algorithms are powered by meta-learning techniques and share the same learning framework. Proposed algorithms generate soft labels for each instance according to a meta-objective, which is to minimize the loss on the small meta-data. Afterward, the main classifier is trained on these generated soft-labels instead of given noisy labels. In each iteration, before conventional learning, the proposed meta objective reshapes the loss function so that resulting gradient updates would lead to model parameters with the minimum loss on meta-data. Different from MSLG, MetaLabelNet can work with dataset consists of both noisily labeled and unlabeled data, which is a problem setup that is not considered in the literature up to now. To prove the validity of the proposed algorithms, they are backed with mathematical justification. Extensive experiments on datasets with both synthetic and real-world label noises show the superiority of the proposed algorithms. For comparison with the state-of-the-art methods, proposed algorithms are tested on widely used noisily labeled benchmarking dataset Clothing1M. Both algorithms beat the baseline methods with a large margin, where MSLG achieves 2.3% and MetaLabelNet achieves 4.2% higher than the closest method. Results show that presented approaches are fully implementable for real-world use cases. Additionally, a novel label noise generation algorithm is presented for the purpose of generating realistic synthetic label noise.

Özet (Çeviri)

Derin öğrenme algoritmalarının gelişmesi ile günümüzde bilgisayarlı görü teknolojilerinde büyük bir sıçrama yaşanmaktadır. Ancak yapay sinir ağlarını eğitmek için yüksek miktarda etiketlenmiş veri gerekmektedir. Veri setlerinin tamamıyla doğru etiketlenmesi çoğu zaman mümkün olmamaktadır. Bu tezde iki adet etiket kirliliğine karşı dayanıklı öğrenme algoritması önerilmiştir: MSLG (Meta Yumuşak Etiket Öğrenimi) ve MetaLabelNet. İki algoritma da meta-öğrenme tekniklerinden faydalanmakta ve aynı öğrenme sisteminden istifade etmektedir. Önerilen algoritmalar meta hedefe göre meta veri üzerinde kaybı en aza indirecek şekilde yumuşak etiketler üretir. Sonrasında ana sınıflandırıcı model kirli etieketler yerine üretilen yumuşak etiketler üzerinde eğitilir. Her eğitim adımında geleneksel makine öğreniminden önce, meta hedef model parametrelerinin en az kirlilikten etkilenecek şekilde güncellenmesine sebep olacak etiketleri üretir. Ayrıca MetaLabelNet hem kirli hem de etiketsiz verinin oluşturduğu veri setleri üzerinde de çalışabilmektedir. Bu problem türü literatürde daha önce çalışılmamıştır. Önerilen algoritmaların geçerliliği matematiksel olarak da kanıtlanmıştır. Metotların performansı hem sentetik hem de dünya kaynaklı gerçek kirliliğe sahip veri setleri üzerinde test edilmiştir. Sonuçlar önerilen algoritmaların yüksek başarısını doğrulamaktadır. Literatürdeki güncel algoritmalar ile performans kıyaslaması yapabilmek adına, önerilen algoritmalar bu alanda yaygın olarak kullanılan Clothing1M veri seti üzerinde test edilmiştir. İki algoritma da literatürdeki diğer metotların başarısının üstüne çıkmıştır. MSLG en başarılı metottan 2.3% fazla performans sağlarken MetaLabelNet 4.2% yüksek performans elde etmiştir. Sonuçlar algoritmaların gerçek dünya uygulamalarında kullanıma hazır olduğunu göstermektedir. Ayrıca tez kapsamında gerçekçi etiket kirliliği oluşturmak maksatlı da özgün bir algoritma önerilmiştir.

Benzer Tezler

  1. Tez No

    822410

    İklimlendirme sistemleri üzerinde makine öğrenmesi ile anomali tespiti

    Anomaly detection with machine learning on air conditioning systems

    REFİK KİBAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUHAMMED FATİH ADAK

    DR. ÖĞR. ÜYESİ KEVSER OVAZ AKPINAR

  2. Tez No

    860700

    Larenks kanselerinde tiroid kartilaj invazyonunun bilgisayarlı tomografi görüntüleriyle tanınmasında yapay zekanın katkısı

    The contribution of artificial intelligence in the recognition of thyroid cartilage invasion in laryngeal cancers with computed tomography images

    ÖMER KUMAŞ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2024

    Kulak Burun ve BoğazSağlık Bilimleri Üniversitesi

    Kulak Burun Boğaz Hastalıkları Ana Bilim Dalı

    DOÇ. DR. GÜLPEMBE BOZKURT

  3. Tez No

    771049

    Deep learning architectures for smart urban scene analysis

    Akıllı kentsel sahne analizi için derin öğrenme mimarileri

    TUBA DEMİRTAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray Üniversitesi

    Akıllı Sistemler Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İSMAİL BURAK PARLAK

  4. Tez No

    800675

    İntrakranial hemorajilerde unet tabanlı derin sinir ağları ile beyin BT görüntülerinin otomatik segmentasyonu ve volümetrik analizi

    Automatic segmentation and volumetric analysis of intracranial hemorages in brain CT images with unet-based deep neural networks

    MURAT YÜCE

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2023

    Radyoloji ve Nükleer TıpSağlık Bilimleri Üniversitesi

    Radyoloji Ana Bilim Dalı

    PROF. DR. AHMET TAN CİMİLLİ

  5. Tez No

    733740

    Derin öğrenme kullanılarak bite-wing radyografilerde pulpal kalsifikasyonların tespiti

    Detection of pulpal calcifications in bite-wing images using deep learning

    FATMA YÜCE

    Diş Hekimliği Uzmanlık

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolNecmettin Erbakan Üniversitesi

    Ağız, Diş ve Çene Radyolojisi Ana Bilim Dalı

    DOÇ. DR. MELEK TAŞSÖKER

Geri Dön