Geri Dön

Annotation consensus networks for improving machine learning with human annotated data

Etiketlenmiş verilerle makine öğrenimini iyileştirmek için etiket uzlaşı ağları

PDF İndir

  1. Tez No: 974199
  2. Yazar: IBRAHIM SHOER
  3. Danışmanlar: Prof. Dr. ENGİN ERZİN
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Derin öğrenme uygulamalarında, özellikle duygu tanıma, tıbbi teşhis veya içerik denetleme gibi öznel yargılar içeren görevlerde, aynı veri örnekleri için birden fazla insan etiketleyiciden değerlendirmeler toplamak yaygın bir pratiktir. Bu yöntem, farklı bakış açılarını yakalamaya olanak tanırken, yorumlama biçimi, uzmanlık düzeyi veya bireysel önyargılardan kaynaklanan varyasyonlara ya da fikir ayrılıklarına da neden olabilir. Bu tutarsızlıkları etkili bir şekilde modellemek ve uzlaştırmak, güçlü ve güvenilir makine öğrenimi modelleri geliştirmede önemli bir zorluktur. Etiketler genellikle ortalama alma veya çoğunluk oyu gibi basit yöntemlerle birleştirilir. Ancak bu geleneksel yöntemler, ortak desenleri ya da toplu etiketleme davranışlarını yeterince yansıtamaz ve etiketleyiciler arasındaki ortak anlayışa dair değerli bilgileri seyrelterek kayba uğratır. Bu problemi ele almak amacıyla, bu tez, etiketleyiciler arasındaki uzlaşıyı daha güvenilir bir öğrenme sinyali olarak açıkça modelleyen ve kullanan Etiket Uzlaşı Ağı (Annotation Consensus Network (ACN)) yapısını yeni bir yaklaşım olarak önermektedir. ACN, tüm etiketlemelerle uyumlu olan Öğrenilmiş Etiket Uzlaşısı'nı (Learned Annotation Consensus (LAC)) çıkararak, uçtan uca bir eğitim çerçevesinde makine öğrenimi modelleri için daha gelişmiş bir denetim sağlar. Bu uzlaşı, etiket varyansını azaltır ve derin ağlarının daha doğru ve kararlı öğrenme gerçekleştirmesini mümkün kılar. Bu tezde, ACN iki yaygın görev olan video özetleme ve konuşmadan sürekli duygu tanıma problemlerine entegre edilmiştir; her iki görev de insan değerlendirmelerine dayalı etiketleme değer hedefleriyle çalışmaktadır. Kapsamlı deneyler, ACN'nin eğitim etiketlerinin kalitesini önemli ölçüde artırdığını göstermektedir. ACN ile eğitilen modeller, geleneksel etiket birleştirme yöntemlerini kullanan modellere kıyasla tutarlı biçimde daha yüksek doğruluk, daha iyi genelleme ve etiketlemeler arası farklılıklara karşı daha fazla dayanıklılık sergilemektedir. Bu tez, etiketleyiciler arasındaki uzlaşıyı açıkça modellemenin derin öğrenme başarımını artırmada kritik bir rol oynadığını vurgulamaktadır. ACN, birden fazla etiketleyiciden ortak bir temsil öğrenerek kolektif uzmanlığı etkili bir şekilde kullanmakta ve daha doğru ve güvenilir yapay zekâ sistemleri için sağlam bir temel sunmaktadır. Bu yaklaşım, etikeleme farklılıklarının yaşandığı tüm alanlar için faydalıdır; modellerin bireysel görüşler yerine ortak insan yargılarını daha iyi anlamasını ve temsil etmesini sağlar.

Özet (Çeviri)

In deep learning applications, particularly in tasks involving subjective judgments such as emotion recognition, medical diagnosis, or content moderation, it is common to collect annotations from multiple human annotators for the same data instances. This practice captures diverse perspectives but often introduces variations or disagreements due to differences in interpretation, expertise, or individual bias. Effectively modeling and reconciling these inconsistencies is a key challenge in building robust and reliable machine learning models. Annotations are typically aggregated using simple methods such as averaging or majority voting. However, these conventional methods do not effectively capture common patterns or collective annotator behavior, and instead dilute valuable information about shared understanding among annotators. To address this problem, this thesis introduces a novel Annotation Consensus Network (ACN) that explicitly models and leverages annotator consensus as a more reliable training signal. ACN extracts a Learned Annotation Consensus (LAC) that aligns with all human annotations, providing improved supervision for machine learning models within an end-to-end training framework. This consensus reduces label variance and enables backbone networks to achieve more accurate and stable learning. In this thesis, ACN is integrated into two widely studied tasks, video summarization and continuous emotion recognition from speech, both of which rely on human-annotated ground truth targets. Extensive experiments demonstrate that ACN significantly improves the quality of training annotations. Models trained with ACN consistently outperform those using traditional annotation aggregation methods, achieving higher accuracy, better generalization, and increased robustness to annotator variability. This thesis highlights that explicitly modeling consensus among annotators is critical for improving deep learning performance. By learning a common representation from multiple annotators, ACN effectively harnesses collective expertise, providing a strong foundation for more accurate and reliable AI systems. This approach is beneficial for any domain facing annotation disagreements, enabling models to better understand and represent common human judgments rather than isolated individual perspectives.

Benzer Tezler

  1. Tez No

    794348

    Finansal piyasalarda döviz kurunun zaman dizisi grafiği üzerinde bulunan Fraktallar (Kaotik emareler) yoluyla tahmin edilmesi

    Estimating the exchange rate in financial markets through Fractals (Chaotic signs) found by scanning the correlation on the time series graph

    ADİL AŞIRIM

    Doktora

    Türkçe

    Türkçe

    2023

    İşletmeİstanbul Aydın Üniversitesi

    İşletme Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT ADİL SALEPÇİOĞLU

  2. Tez No

    1020046

    Topology-preserving medical image segmentation via path-cost supervision

    Yol maliyeti denetimi ile topoloji koruyan tıbbi görüntü bölütleme

    ELYAR ESMAEILZADEH

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DORUK ÖNER

  3. Tez No

    979907

    Arel teorisinin Türk makam müziğinde iktidarı ve şed makam örneği

    The power of Arel theory in Turkish maqam music and the example of şed maqam

    PINAR ÇAKI

    Doktora

    Türkçe

    Türkçe

    2025

    Müzikİstanbul Teknik Üniversitesi

    Müzikoloji ve Müzik Teorisi Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. GÖZDE ÇOLAKOĞLU SARI

  4. Tez No

    522141

    Crowd-labeling for continuous-valued annotations

    Sürekli değerli işaretlemeler için kitle etiketleme

    YUNUS EMRE KARA

    Doktora

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. LALE AKARUN ERSOY

  5. Tez No

    697919

    Ebu'l-Hasen el-Mâverdî'nin el-Hâvi'l-Kebîr adlı eserinde fıkıh metodolojisi

    Fikih methodology in Ebu'l-Hasen el-Maverdi's work titled el-Hâvi'l-Kebir

    İBRAHİM İLHAN

    Doktora

    Türkçe

    Türkçe

    2021

    DinAnkara Yıldırım Beyazıt Üniversitesi

    Temel İslam Bilimleri Ana Bilim Dalı

    PROF. DR. AHMET ÜNSAL

Geri Dön