Dil modellerinin türkçe dilinde performanslarının iyileştirilmesi için farklı istem formatlarının kullanımı
The use of different prompt formats to improve the performance of language models in the turkish language
- Tez No: 955958
- Danışmanlar: DR. ÖĞR. ÜYESİ EMİR ÖZTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Trakya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi ve Analitiği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 60
Özet
Dil modelleri, etkin ince-ayarlama metotları ile herkes tarafından eğitilebilmekte ve özelleştirilerek farklı alanlarda kullanılabilmektedir. Dil modellerinin başarımı için genellikle kayıp veya doğruluk metrikleri kontrol kabul edilse de istem formatlarının seçimi de bu başarımı etkilemektedir. Bu çalışmada Llama2, Llama3 ve Mistral7B gibi büyük dil modellerinin yanı sıra küçük dil modeli olan Phi3 ile farklı iki veriseti üzerinde çeşitli yaygın olarak kullanılan istem formatlarının ve özelleştirilmiş Türkçe istem formatları ile birlikte denenmesi ile eğitilmiş ve başarım sonuçları karşılaştırılmıştır. Elde edilen bulgular ve sonuçlar neticesinde, yalnızca model mimarisinin değil, kullanılan istem formatının yapısının da başarım üzerinde kritik bir rol oynadığını göstermiş ve istem formatının değişikliğinin dil modellerinde performansı etkilediği gözlenmiştir. Bunlarla birlikte özelleştirilmiş istem formatı kabul edilebilir kayıp değerlerinde en iyi metrik sonuçlarını elde etmiştir.
Özet (Çeviri)
Language models can be trained and customized by anyone using effective finetuning methods, making them versatile tools across various domains. While metrics like loss and accuracy are commonly used to assess the performance of language models, the choice of prompt formats also plays a crucial role. In this study, large language models such as Llama2, Llama3 and Mistral7B, as well as the smaller Phi3 model, were trained and evaluated on two different datasets using both commonly used prompt formats and customized Turkish prompt formats. Based on the findings and results obtained, it has been demonstrated that not only the model architecture but also the structure of the prompt format plays a critical role in performance, and that changes in prompt formats can affect the performance of language models. Furthermore, the customized prompt format achieved the best metric results within acceptable loss values.
Benzer Tezler
- Türkçe klinik metinlerin derin öğrenme yaklaşımları ile sınıflandırılması
Classification of Turkish clinical notes using deep learning techniques
HAZAL TÜRKMEN
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ DİKENELLİ
- Arapça, Türkçe ve İngilizce dillerindeki e-ticaret verilerinden duygu analizi ile müşteri memnuniyet tespiti
Prediction of customers' interests with sentiment analysis from e-commerce data in Arabic,Turkish and English
PINAR SAVCI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DOÇ. DR. BİHTER DAŞ
- Türkçe metinlerde duygu analizi yapılarak saldırgan içeriklerin tespit edilmesi
Detecting offensive content by performing senti̇ment analysis in turkish texts
ŞEYMA ŞAHİNER YILMAZ
Yüksek Lisans
Türkçe
2022
Bilim ve TeknolojiGazi ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
PROF. DR. HADİ GÖKÇEN
DR. ÖĞR. ÜYESİ İLYAS ÖZER
- Performance comparison of large language models for Turkish natural language processing in higher education
Yükseköğretimde Türkçe doğal dil işleme için büyük dil modellerinin performans karşılaştırması
EGECAN ÇETİN
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİzmir Ekonomi ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYÇA TOPALLI
- Automated response generation for corporate chatbot systems
Kurumsal chatbot sistemleri için otomatik cevap üretme
ABDULLAH ŞAMİL GÜSER
Yüksek Lisans
İngilizce
2020
BankacılıkBoğaziçi ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA LEVENT ARSLAN