A comparative study of prompting and fine-tuning for binary text classification of sustainable development goals
Sürdürülebilir kalkınma amaçlarının ikili metin sınıflandırmasında istemleme ve ince-ayar üzerine karşılaştırmalı bir çalışma
- Tez No: 898270
- Danışmanlar: DOÇ. DR. PELİN ANGIN ÜLKÜER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 76
Özet
Birleşmiş Milletler'in 2015 yılında 17 Sürdürülebilir Kalkınma Amaçlarını (SDG) açıklaması ve ilgili belge hacminin artmaya devam etmesi nedeniyle bu küresel hedeflere uygun otomatik belge sınıflandırma ihtiyacı önem kazanmıştır. Mevcut araştırmalar, otomatik SDG sınıflandırması için geleneksel yöntemlere odaklanmakta olup, son yaklaşım olarak İnce-Ayar (Fine-Tuning) üzerine yoğunlaşmaktadır ve çeşitli görevlerde İstemleme (Prompting) veya İstem Mühendisliği (Prompt Engineering) yoluyla üstün etkinlik gösteren Büyük Dil Modellerindeki (LLM) gelişmeleri ihmal etmektedir. Bu araştırma, en son teknoloji LLM'ler olan ChatGPT ve Gemini'nin, değişen bağlam düzeyleriyle Sıfır-Atışlı ve Az-Atışlı İstemleme teknikleri kullanarak, SDG ilişiği için ikili metin sınıflandırma performansını, kıyas noktası olarak hizmet veren Transformer-tabanlı modeller BERT ve kaynak verimli varyantı DistilBERT'e uygulanan geleneksel İnce-Ayar yöntemi ile karşılaştırmaktadır. Karşılaştırmalı analize göre, İnce-Ayarlı Transformer-tabanlı modeller, ikili SDG metin sınıflandırmasında, LLM'ler ile İstemleme yönteminden daha iyi performans göstermektedir ve bu durum mevcut araştırma bulgularıyla örtüşmektedir. Sıfır-Atışlı İstemleme, her iki model için de üstün sonuçlar gösterirken, alınan performans İstem'in (Prompt) bağlam düzeyi arttıkça iyileşmektedir. Buna karşın, Az-Atışlı İstemleme ile her iki model de daha düşük performans sergilemektedir; özellikle ChatGPT belirgin bir düşüş yaşamaktadır. Az-Atışlı İstemleme'de örnek sayısının artırılması, her iki model için de herhangi bir performans iyileşmesine yol açmamaktadır. İnce-Ayarlı modeller arasında, DistilBERT ve BERT, ikili SDG metin sınıflandırmasında benzer performans gösterirken, DistilBERT hesaplama verimliliği nedeniyle özellikle avantajlıdır. Ancak, LLM'ler daha yetkin modellerin ve etkili İstemleme yöntemlerinin geliştirilmesiyle, metin sınıflandırmada iyileşme potansiyeli göstermektedir.
Özet (Çeviri)
The announcement of the 17 Sustainable Development Goals (SDGs) in 2015 by the United Nations has higlighted the need for automated document classification aligned with these global goals, as the volume of documents continues to increase. Current research focuses on traditional methods for automatic SDG classification, with Fine-Tuning being the latest approach, but neglects recent advancements in Large Language Models (LLMs) which excel in diverse tasks through Prompting or Prompt Engineering. This research compares the performance of binary text classification for SDG relevancy using state-of-the-art LLMs ChatGPT and Gemini via Prompting techniques, including Zero-Shot and Few-Shot Prompting with varying context levels, against traditional Fine-Tuning applied to Transformer-based models BERT and its resource-efficient variant DistilBERT, which serve as benchmarks. Based on comparative analysis, Fine-Tuning Transformer-based models outperforms Prompting with LLMs in SDG binary text classification, which aligns with existing research findings. Zero-Shot Prompting shows superior results for both models, with performance improving as the context level of the Prompt increases. In contrast, both models exhibit lower performance with Few-Shot Prompting, with ChatGPT notably experiencing a significant decline. Increasing the number of examples in Few-Shot Prompts does not lead to improved performance for either model. Among Fine-Tuned models, DistilBERT and BERT perform similarly in SDG binary text classification, with DistilBERT being particularly advantageous due to its computational efficiency. However, LLMs have the potential to demonstrate improved text classification performance with the development of more capable models and effective Prompting techniques.
Benzer Tezler
- Optimizing rotary-wing UAV trajectory tracking: A comparative study of optimization methods
Döner kanatlı İHA yörünge takibinin optimize edilmesi: Optimizasyon yöntemlerinin karşılaştırmalı bir çalışması
AHMET SABAH
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BAYEZİT
- Social media data valuation model for disaster incidence mapping
Sosyal medya verilerinin afet olaylarının haritalanması için değerlendirme modeli
AYŞE GİZ GÜLNERMAN GENGEÇ
Doktora
İngilizce
2020
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. HİMMET KARAMAN
- The effect of language input in semantic segmentation and grading of colorectal cancer with language-vision models
Kolorektal kanser görüntülerinden segmentasyon ve kanser derecesi teşhisi yapan dil-görme modellerinde dil girdisinin etkisi
SİNA ŞEHLAVER
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
DOÇ. DR. EMRE AKBAŞ
DOÇ. DR. AHMET ACAR
- Cezanın belirlenmesi ve bireyselleştirilmesi
Determination and individualization of punishment
IRMAK KORUCULU
- Evaluating the efficacy of polyethylene glycol and magnesium chloride as anti-freeze agents on the mechanical properties of clays subjected to freeze-thaw cycles
Polietilen glikol ve magnezyum klorürün antifriz maddeleri olarak donma-çözülme döngülerine maruz kalan killerin mekanik özellikleri üzerindeki etkinliğinin değerlendirilmesi
AMIN YEGANEH RIKHTEHGAR
Doktora
İngilizce
2024
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BERRAK TEYMÜR
