Büyük dil modellerinde istem mühendisliğinin Türkçe dil bilgisitestlerindeki performans analizi
Performance analysis of prompt engineering in large language models on Turkish grammar tests
- Tez No: 961968
- Danışmanlar: DR. ÖĞR. ÜYESİ ERSAN OKATAN, PROF. DR. ALİ HAKAN IŞIK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Burdur Mehmet Akif Ersoy Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 136
Özet
Büyük dil modelleri (Large Language Models – LLM'ler), doğal dil işleme alanında önemli bir yer edinmiş olup, Türkçe dil test sorularındaki performansları, eğitim ve değerlendirme süreçlerinde kritik bir rol oynamaktadır. Bu çalışma, istem mühendisliği tekniklerinin, LLM'lerin Türkçe dil test sorularındaki performansını artırmadaki etkisini karşılaştırmalı bir yaklaşımla incelemeyi amaçlamaktadır. İstem mühendisliği, modelin daha doğru, tutarlı ve bağlama uygun yanıtlar üretmesini sağlamak için giriş istemlerinin yapılandırılması ve optimize edilmesi sürecini ifade eder. Araştırma, Türkçe'nin sondan eklemeli yapısı, zengin ek sistemi, kelime sırası esnekliği ve kültürel bağlam gibi özelliklerini dikkate alarak, istem tasarımının model performansına katkısını değerlendirmeyi hedeflemektedir. Çalışmada, farklı zorluk seviyelerinde ve farklı konular da çoktan seçmeli Türkçe dil test sorularından oluşan bir veri seti kullanılmıştır. Standart (genel talimatlar) ve optimize edilmiş (Türkçe'ye özgü dilbilgisi ve kültürel bağlamı içeren) istemler, sıfır atış, tek atış ve çok atış yaklaşımlarıyla test edilmiştir. Model performansı, doğruluk yöntemi ile analiz edilmiş, standart ve optimize edilmiş istemlerin sonuçları karşılaştırılmıştır. Araştırma, optimize edilmiş istemlerin modelin hata oranını azalttığını ve bağlamsal uygunluğu artırdığını göstermektedir. Bulgular, eğitim süreçlerinde LLM'lerin daha etkili kullanımına yönelik pratik öneriler sunmakta, Türkçe gibi morfolojik olarak zengin diller için istem mühendisliği stratejilerine katkı sağlamakta ve istem mühendisliğinin LLM performansına katkısı ortaya koymaktadır.
Özet (Çeviri)
Large language models (LLMs) have gained an important place in the field of natural language processing, and their performance on Turkish language test questions plays a critical role in training and evaluation processes. This study aims to examine the effect of prompt engineering techniques on improving the performance of LLMs on Turkish language test questions with a comparative approach. Prompt engineering refers to the process of structuring and optimizing input prompts to enable the model to produce more accurate, consistent and context-appropriate answers. The research aims to evaluate the contribution of prompt design to model performance by considering the characteristics of Turkish such as agglutinative structure, rich suffix system, word order flexibility and cultural context. A dataset consisting of multiple-choice Turkish language test questions at different difficulty levels and different topics is used in the study. Standard (general instructions) and optimized (including Turkish-specific grammar and cultural context) prompts are tested with zero-shot, single-shot and multi-shot approaches. Model performance will be analyzed with the accuracy method. The results of standard and optimized prompts will be compared. The study shows that optimized prompts reduce the error rate of the model and increase contextual relevance. The findings provide practical suggestions for more effective use of LLMs in training processes, contribute to prompt engineering strategies for morphologically rich languages such as Turkish, and reveal the contribution of prompt engineering to LLM performance.
Benzer Tezler
- Kanı-istek-hedef (BDI) etmenlerininaz-kodlu geliştirilmesi için çevrimiçi bir modelleme dili
An online modeling language for the low-codedevelopment of belief-desire-intention (BDI)agents
BURAK ÇELİK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiUluslararası Bilgisayar Ana Bilim Dalı
PROF. DR. GEYLANİ KARDAŞ
- On the point vortex dynamics
Noktasal girdap dinamiği üzerine
AHMET KUTSİ NİRCAN
Yüksek Lisans
İngilizce
1992
Gemi Mühendisliğiİstanbul Teknik ÜniversitesiYRD. DOÇ. DR. ALİ RANA ATILGAN
- Parametre verimli ince ayar yöntemi ile açık kaynak büyük dil modellerinin türkçe dil bilgisi ve muhakeme yeteneklerinin iyileştirilmesi
Improving turkish grammar and reasoning capabilities of open source large language models with parameter efficient fine tuning
YUNUS EMRE DEMİRDAĞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BETÜL AY
- Dil modellerinin türkçe dilinde performanslarının iyileştirilmesi için farklı istem formatlarının kullanımı
The use of different prompt formats to improve the performance of language models in the turkish language
ERAY NURTEKİN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTrakya ÜniversitesiVeri Bilimi ve Analitiği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMİR ÖZTÜRK
- Sentiment-driven forecasting of short-term asset price directions using large language models
Büyük dil modelleri kullanarak varlık fiyatlarının kısa vadeli yönlerinin duygu odaklı tahmini
AHMET BERKAY GÜLTEKİN
Yüksek Lisans
İngilizce
2025
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiVeri Mühendisliği ve İş Analitiği Ana Bilim Dalı
PROF. DR. ALP ÜSTÜNDAĞ