Geri Dön

Dönüştürücü dil modellerine etkili hassas ayar yapmak için veri mühendisliği yöntemleri

Data engineering methods for effective fine tuning transformers language models

  1. Tez No: 752523
  2. Yazar: MUHAMMED SAİD ZENGİN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ MÜCAHİD KUTLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: TOBB Ekonomi ve Teknoloji Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 64

Özet

Geleneksel yöntemlerle metinden öznitelik çıkarmak ve bir doğal dil işleme görevini yerine getirmek mümkündür, fakat kısıtlı miktardaki etiketli veriyle cümle yapısı ve kelime vektörleri yeterince öğrenilmediği için model performansı kısıtlı kalmaktadır. Bu sebeple son yıllarda araştırmacılar önceden eğitilmiş dil modellerine hassas ayar yapmayı, geleneksel yöntemlere göre daha çok tercih etmektedir. Büyük miktarda veriyle hazırlanan önceden eğitilmiş dönüştürücü dil modelini kullanarak belirli bir görev üzerinde hassas ayar yapmak birçok doğal dil işleme görevinde en yüksek performansı vermektedir. Etiketli veri hazırlamak maliyetli bir işlem olduğu ve etiketli veri sınırlı bir kaynak olduğu için araştırmacılar az veri kullanarak daha iyi sonuç alma yöntemlerini incelemektedir. Bu sebeple veri arttırma yöntemleri olarak aktif öğrenme ve zayıf denetim yolları kullanılmıştır. Aynı zamanda yarı denetimli ve denetimsiz yöntemler de üzerinde çalışılan araştırma konuları olmuştur. Bu tezin kapsamı ise, kısıtlı miktardaki etiketli veri kullanılarak, dönüştürücü dil modellerine en etkili hassas ayar yapma yöntemini araştırmaktır. Etkili hassas ayar yapmak için çapraz dilli eğitim, zayıf denetim, geri çeviri, aşırı örnekleme, aktif öğrenme gibi veri mühendisliği yöntemleri kullanılmıştır. Bu tez kapsamında incelenen konu üç farklı doğal dil işleme görevi üzerinde incelenmiştir. Bu görevler, kontrole değer iddiaların tespiti, taraf tespiti ve konum tespitidir.

Özet (Çeviri)

It is possible to extract features from the text and perform a natural language processing task with traditional methods, but the model performance is limited because the sentence structure and word vectors are not learned enough with the limited amount of labeled data. For this reason, in recent years, researchers prefer to fine-tune pre-trained language models more than traditional methods. Fine-tuning a particular task using a pre-trained transformers language model prepared with large amounts of data yields state of the art results in many natural language processing tasks. Because preparing labeled data is a costly process and labeled data is a limited resource, researchers are examining ways to get better results using less data. For this reason, active learning and weak supervision methods were used as data augmentation methods. At the same time, semi-supervised and unsupervised methods have also been studied research topics. The scope of this thesis is to investigate the most effective fine-tuning method for transformers language models using a limited amount of labeled data. Data engineering methods such as cross-language training, weak supervision, back translation, oversampling, active learning have been used for effective fine-tuning. The subject examined in this thesis is detailed on three different natural language processing tasks. These tasks are detecting check-worthy claims, stance detection, and geolocation detection.

Benzer Tezler

  1. Fake news classification using machine learning and deep learning approaches

    Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması

    SAJA ABDULHALEEM MAHMOOD AL-OBAIDI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR

  2. Bridging knowledge across architectural heritage and digital fabrication technologies

    Mimari miras ile dijital fabrikasyon teknolojileri arasında bilgi köprüsü kurmak

    BEGÜM HAMZAOĞLU

    Doktora

    İngilizce

    İngilizce

    2024

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU

  3. Improving self-attention based transformer performance for morphologically rich languages

    Morfolojik açıdan zengin diller için öz dikkat tabanlı dönüştürücü performansının iyileştirilmesi

    YİĞİT BEKİR KAYA

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET CÜNEYD TANTUĞ

  4. Sosyal medyada kullanıcı gizliliğini korumak için taraf tespiti görevinde dönüştürücü dil modellerini yanıltma yöntemleri

    Methods of deceiving transformer language models in stance detection to protect user privacy in social media

    DİLARA DOĞAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MÜCAHİD KUTLU

  5. On real-world face super-resolution and face image synthesis evaluation

    Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine

    ERDİ SARITAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HAZIM KEMAL EKENEL