Dil modellerinin türkçe dilinde performanslarının iyileştirilmesi için farklı istem formatlarının kullanımı
The use of different prompt formats to improve the performance of language models in the turkish language
- Tez No: 955958
- Danışmanlar: DR. ÖĞR. ÜYESİ EMİR ÖZTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Trakya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi ve Analitiği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Dil modelleri, etkin ince-ayarlama metotları ile herkes tarafından eğitilebilmekte ve özelleştirilerek farklı alanlarda kullanılabilmektedir. Dil modellerinin başarımı için genellikle kayıp veya doğruluk metrikleri kontrol kabul edilse de istem formatlarının seçimi de bu başarımı etkilemektedir. Bu çalışmada Llama2, Llama3 ve Mistral7B gibi büyük dil modellerinin yanı sıra küçük dil modeli olan Phi3 ile farklı iki veriseti üzerinde çeşitli yaygın olarak kullanılan istem formatlarının ve özelleştirilmiş Türkçe istem formatları ile birlikte denenmesi ile eğitilmiş ve başarım sonuçları karşılaştırılmıştır. Elde edilen bulgular ve sonuçlar neticesinde, yalnızca model mimarisinin değil, kullanılan istem formatının yapısının da başarım üzerinde kritik bir rol oynadığını göstermiş ve istem formatının değişikliğinin dil modellerinde performansı etkilediği gözlenmiştir. Bunlarla birlikte özelleştirilmiş istem formatı kabul edilebilir kayıp değerlerinde en iyi metrik sonuçlarını elde etmiştir.
Özet (Çeviri)
Language models can be trained and customized by anyone using effective finetuning methods, making them versatile tools across various domains. While metrics like loss and accuracy are commonly used to assess the performance of language models, the choice of prompt formats also plays a crucial role. In this study, large language models such as Llama2, Llama3 and Mistral7B, as well as the smaller Phi3 model, were trained and evaluated on two different datasets using both commonly used prompt formats and customized Turkish prompt formats. Based on the findings and results obtained, it has been demonstrated that not only the model architecture but also the structure of the prompt format plays a critical role in performance, and that changes in prompt formats can affect the performance of language models. Furthermore, the customized prompt format achieved the best metric results within acceptable loss values.
Benzer Tezler
- Türkçe klinik metinlerin derin öğrenme yaklaşımları ile sınıflandırılması
Classification of Turkish clinical notes using deep learning techniques
HAZAL TÜRKMEN
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ DİKENELLİ
- Büyük dil modelleri ile yazılan kaynak kodların güvenlik analizi: Bankacılık sektörü uygulaması
Security analysis of source codes written by large language models: An application to the banking industry
RESUL SEZGİN ALBAYRAK
Yüksek Lisans
Türkçe
2026
BankacılıkKocaeli ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MELTEM KURT PEHLİVANOĞLU
- Sohbet robotu veri seti ile niyet sınıflandırmasında geleneksel ve modern yaklaşımların karşılaştırılması
Comparison of traditional and modern methods in intent classification using a chatbot dataset
KARDEL RÜVEYDA ÇETİN
Yüksek Lisans
Türkçe
2025
Bilim ve TeknolojiYıldız Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
PROF. DR. FATMA AYDIN AKGÜN
- Mevcut derin doğal dil işleme modellerinin Türkçe özelinde performanslarının artırılması
Improving the performance of existing deep natural language processing models in Turkish
BİLAL KOBANOĞLU
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Topkapı ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
PROF. DR. FAZLI YILDIRIM
- A comprehensive multi-prompt evaluation of large language models on Turkish datasets
Büyük dil modellerinin Türkçe veri kümeleri üzerinde kapsamlı ve çok-istemli değerlendirmesi
MUSTAFA BURAK TOPAL
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE UĞUR
PROF. AYŞE BAŞAR