A comparative study of prompting and fine-tuning for binary text classification of sustainable development goals
Sürdürülebilir kalkınma amaçlarının ikili metin sınıflandırmasında istemleme ve ince-ayar üzerine karşılaştırmalı bir çalışma
- Tez No: 898270
- Danışmanlar: DOÇ. DR. PELİN ANGIN ÜLKÜER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 76
Özet
Birleşmiş Milletler'in 2015 yılında 17 Sürdürülebilir Kalkınma Amaçlarını (SDG) açıklaması ve ilgili belge hacminin artmaya devam etmesi nedeniyle bu küresel hedeflere uygun otomatik belge sınıflandırma ihtiyacı önem kazanmıştır. Mevcut araştırmalar, otomatik SDG sınıflandırması için geleneksel yöntemlere odaklanmakta olup, son yaklaşım olarak İnce-Ayar (Fine-Tuning) üzerine yoğunlaşmaktadır ve çeşitli görevlerde İstemleme (Prompting) veya İstem Mühendisliği (Prompt Engineering) yoluyla üstün etkinlik gösteren Büyük Dil Modellerindeki (LLM) gelişmeleri ihmal etmektedir. Bu araştırma, en son teknoloji LLM'ler olan ChatGPT ve Gemini'nin, değişen bağlam düzeyleriyle Sıfır-Atışlı ve Az-Atışlı İstemleme teknikleri kullanarak, SDG ilişiği için ikili metin sınıflandırma performansını, kıyas noktası olarak hizmet veren Transformer-tabanlı modeller BERT ve kaynak verimli varyantı DistilBERT'e uygulanan geleneksel İnce-Ayar yöntemi ile karşılaştırmaktadır. Karşılaştırmalı analize göre, İnce-Ayarlı Transformer-tabanlı modeller, ikili SDG metin sınıflandırmasında, LLM'ler ile İstemleme yönteminden daha iyi performans göstermektedir ve bu durum mevcut araştırma bulgularıyla örtüşmektedir. Sıfır-Atışlı İstemleme, her iki model için de üstün sonuçlar gösterirken, alınan performans İstem'in (Prompt) bağlam düzeyi arttıkça iyileşmektedir. Buna karşın, Az-Atışlı İstemleme ile her iki model de daha düşük performans sergilemektedir; özellikle ChatGPT belirgin bir düşüş yaşamaktadır. Az-Atışlı İstemleme'de örnek sayısının artırılması, her iki model için de herhangi bir performans iyileşmesine yol açmamaktadır. İnce-Ayarlı modeller arasında, DistilBERT ve BERT, ikili SDG metin sınıflandırmasında benzer performans gösterirken, DistilBERT hesaplama verimliliği nedeniyle özellikle avantajlıdır. Ancak, LLM'ler daha yetkin modellerin ve etkili İstemleme yöntemlerinin geliştirilmesiyle, metin sınıflandırmada iyileşme potansiyeli göstermektedir.
Özet (Çeviri)
The announcement of the 17 Sustainable Development Goals (SDGs) in 2015 by the United Nations has higlighted the need for automated document classification aligned with these global goals, as the volume of documents continues to increase. Current research focuses on traditional methods for automatic SDG classification, with Fine-Tuning being the latest approach, but neglects recent advancements in Large Language Models (LLMs) which excel in diverse tasks through Prompting or Prompt Engineering. This research compares the performance of binary text classification for SDG relevancy using state-of-the-art LLMs ChatGPT and Gemini via Prompting techniques, including Zero-Shot and Few-Shot Prompting with varying context levels, against traditional Fine-Tuning applied to Transformer-based models BERT and its resource-efficient variant DistilBERT, which serve as benchmarks. Based on comparative analysis, Fine-Tuning Transformer-based models outperforms Prompting with LLMs in SDG binary text classification, which aligns with existing research findings. Zero-Shot Prompting shows superior results for both models, with performance improving as the context level of the Prompt increases. In contrast, both models exhibit lower performance with Few-Shot Prompting, with ChatGPT notably experiencing a significant decline. Increasing the number of examples in Few-Shot Prompts does not lead to improved performance for either model. Among Fine-Tuned models, DistilBERT and BERT perform similarly in SDG binary text classification, with DistilBERT being particularly advantageous due to its computational efficiency. However, LLMs have the potential to demonstrate improved text classification performance with the development of more capable models and effective Prompting techniques.
Benzer Tezler
- Impact analysis of Turkish tweets for disaster relief using large language models
Büyük dil modelleri kullanılarak afet yardımı için Türkçe tweetlerin etki analizi
ÖKE ÖZEK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Ekonomi ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYÇA TOPALLI
- Optimizing rotary-wing UAV trajectory tracking: A comparative study of optimization methods
Döner kanatlı İHA yörünge takibinin optimize edilmesi: Optimizasyon yöntemlerinin karşılaştırmalı bir çalışması
AHMET SABAH
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BAYEZİT
- Ağ trafiği tahmininde makine öğrenmesi algoritmalarının karşılaştırmalı analizi
A comparative analysis of machine learning algorithms on network traffic forecasting
BUSE DİLAN USLAN
Yüksek Lisans
Türkçe
2025
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ
- Social media data valuation model for disaster incidence mapping
Sosyal medya verilerinin afet olaylarının haritalanması için değerlendirme modeli
AYŞE GİZ GÜLNERMAN GENGEÇ
Doktora
İngilizce
2020
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. HİMMET KARAMAN
- Evaluating environmental effects of different anaerobic wastewater treatment systems by using LCA approach
Farklı anaerobik atıksu arıtma sistemlerinin çevresel etkilerinin LCA yaklaşımı ile değerlendirilmesi
MERVE YILMAZ
Doktora
İngilizce
2025
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL KOYUNCU