Dönüştürücü dil modellerine etkili hassas ayar yapmak için veri mühendisliği yöntemleri
Data engineering methods for effective fine tuning transformers language models
- Tez No: 752523
- Danışmanlar: DR. ÖĞR. ÜYESİ MÜCAHİD KUTLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: TOBB Ekonomi ve Teknoloji Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 64
Özet
Geleneksel yöntemlerle metinden öznitelik çıkarmak ve bir doğal dil işleme görevini yerine getirmek mümkündür, fakat kısıtlı miktardaki etiketli veriyle cümle yapısı ve kelime vektörleri yeterince öğrenilmediği için model performansı kısıtlı kalmaktadır. Bu sebeple son yıllarda araştırmacılar önceden eğitilmiş dil modellerine hassas ayar yapmayı, geleneksel yöntemlere göre daha çok tercih etmektedir. Büyük miktarda veriyle hazırlanan önceden eğitilmiş dönüştürücü dil modelini kullanarak belirli bir görev üzerinde hassas ayar yapmak birçok doğal dil işleme görevinde en yüksek performansı vermektedir. Etiketli veri hazırlamak maliyetli bir işlem olduğu ve etiketli veri sınırlı bir kaynak olduğu için araştırmacılar az veri kullanarak daha iyi sonuç alma yöntemlerini incelemektedir. Bu sebeple veri arttırma yöntemleri olarak aktif öğrenme ve zayıf denetim yolları kullanılmıştır. Aynı zamanda yarı denetimli ve denetimsiz yöntemler de üzerinde çalışılan araştırma konuları olmuştur. Bu tezin kapsamı ise, kısıtlı miktardaki etiketli veri kullanılarak, dönüştürücü dil modellerine en etkili hassas ayar yapma yöntemini araştırmaktır. Etkili hassas ayar yapmak için çapraz dilli eğitim, zayıf denetim, geri çeviri, aşırı örnekleme, aktif öğrenme gibi veri mühendisliği yöntemleri kullanılmıştır. Bu tez kapsamında incelenen konu üç farklı doğal dil işleme görevi üzerinde incelenmiştir. Bu görevler, kontrole değer iddiaların tespiti, taraf tespiti ve konum tespitidir.
Özet (Çeviri)
It is possible to extract features from the text and perform a natural language processing task with traditional methods, but the model performance is limited because the sentence structure and word vectors are not learned enough with the limited amount of labeled data. For this reason, in recent years, researchers prefer to fine-tune pre-trained language models more than traditional methods. Fine-tuning a particular task using a pre-trained transformers language model prepared with large amounts of data yields state of the art results in many natural language processing tasks. Because preparing labeled data is a costly process and labeled data is a limited resource, researchers are examining ways to get better results using less data. For this reason, active learning and weak supervision methods were used as data augmentation methods. At the same time, semi-supervised and unsupervised methods have also been studied research topics. The scope of this thesis is to investigate the most effective fine-tuning method for transformers language models using a limited amount of labeled data. Data engineering methods such as cross-language training, weak supervision, back translation, oversampling, active learning have been used for effective fine-tuning. The subject examined in this thesis is detailed on three different natural language processing tasks. These tasks are detecting check-worthy claims, stance detection, and geolocation detection.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Bridging knowledge across architectural heritage and digital fabrication technologies
Mimari miras ile dijital fabrikasyon teknolojileri arasında bilgi köprüsü kurmak
BEGÜM HAMZAOĞLU
Doktora
İngilizce
2024
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU
- Improving self-attention based transformer performance for morphologically rich languages
Morfolojik açıdan zengin diller için öz dikkat tabanlı dönüştürücü performansının iyileştirilmesi
YİĞİT BEKİR KAYA
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ
- Sosyal medyada kullanıcı gizliliğini korumak için taraf tespiti görevinde dönüştürücü dil modellerini yanıltma yöntemleri
Methods of deceiving transformer language models in stance detection to protect user privacy in social media
DİLARA DOĞAN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MÜCAHİD KUTLU
- On real-world face super-resolution and face image synthesis evaluation
Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine
ERDİ SARITAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL