Büyük dil modellerinde istem mühendisliğinin Türkçe dil bilgisitestlerindeki performans analizi
Performance analysis of prompt engineering in large language models on Turkish grammar tests
- Tez No: 961968
- Danışmanlar: DR. ÖĞR. ÜYESİ ERSAN OKATAN, PROF. DR. ALİ HAKAN IŞIK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Burdur Mehmet Akif Ersoy Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük dil modelleri (Large Language Models – LLM'ler), doğal dil işleme alanında önemli bir yer edinmiş olup, Türkçe dil test sorularındaki performansları, eğitim ve değerlendirme süreçlerinde kritik bir rol oynamaktadır. Bu çalışma, istem mühendisliği tekniklerinin, LLM'lerin Türkçe dil test sorularındaki performansını artırmadaki etkisini karşılaştırmalı bir yaklaşımla incelemeyi amaçlamaktadır. İstem mühendisliği, modelin daha doğru, tutarlı ve bağlama uygun yanıtlar üretmesini sağlamak için giriş istemlerinin yapılandırılması ve optimize edilmesi sürecini ifade eder. Araştırma, Türkçe'nin sondan eklemeli yapısı, zengin ek sistemi, kelime sırası esnekliği ve kültürel bağlam gibi özelliklerini dikkate alarak, istem tasarımının model performansına katkısını değerlendirmeyi hedeflemektedir. Çalışmada, farklı zorluk seviyelerinde ve farklı konular da çoktan seçmeli Türkçe dil test sorularından oluşan bir veri seti kullanılmıştır. Standart (genel talimatlar) ve optimize edilmiş (Türkçe'ye özgü dilbilgisi ve kültürel bağlamı içeren) istemler, sıfır atış, tek atış ve çok atış yaklaşımlarıyla test edilmiştir. Model performansı, doğruluk yöntemi ile analiz edilmiş, standart ve optimize edilmiş istemlerin sonuçları karşılaştırılmıştır. Araştırma, optimize edilmiş istemlerin modelin hata oranını azalttığını ve bağlamsal uygunluğu artırdığını göstermektedir. Bulgular, eğitim süreçlerinde LLM'lerin daha etkili kullanımına yönelik pratik öneriler sunmakta, Türkçe gibi morfolojik olarak zengin diller için istem mühendisliği stratejilerine katkı sağlamakta ve istem mühendisliğinin LLM performansına katkısı ortaya koymaktadır.
Özet (Çeviri)
Large language models (LLMs) have gained an important place in the field of natural language processing, and their performance on Turkish language test questions plays a critical role in training and evaluation processes. This study aims to examine the effect of prompt engineering techniques on improving the performance of LLMs on Turkish language test questions with a comparative approach. Prompt engineering refers to the process of structuring and optimizing input prompts to enable the model to produce more accurate, consistent and context-appropriate answers. The research aims to evaluate the contribution of prompt design to model performance by considering the characteristics of Turkish such as agglutinative structure, rich suffix system, word order flexibility and cultural context. A dataset consisting of multiple-choice Turkish language test questions at different difficulty levels and different topics is used in the study. Standard (general instructions) and optimized (including Turkish-specific grammar and cultural context) prompts are tested with zero-shot, single-shot and multi-shot approaches. Model performance will be analyzed with the accuracy method. The results of standard and optimized prompts will be compared. The study shows that optimized prompts reduce the error rate of the model and increase contextual relevance. The findings provide practical suggestions for more effective use of LLMs in training processes, contribute to prompt engineering strategies for morphologically rich languages such as Turkish, and reveal the contribution of prompt engineering to LLM performance.
Benzer Tezler
- Yapay zekâ destekli büyük dil modellerinin inşaat mühendisliği eğitimindeki yeterliliğinin irdelenmesi: Chatgpt örneği üzerinden öğrenci performanslarının, yanıt tutarlılığının ve istem mühendisliği tekniklerinin karşılaştırmalı analizi
Evaluation of the competence of artificial intelligence–powered large language models in civil engineering education: A comparative analysis of student performance, response consistency and prompt engineering techniques using Chatgpt as a case study
SİMGE DURGUN
Yüksek Lisans
Türkçe
2026
İnşaat MühendisliğiBursa Uludağ Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. OLCAY GENÇ
- Kanı-istek-hedef (BDI) etmenlerininaz-kodlu geliştirilmesi için çevrimiçi bir modelleme dili
An online modeling language for the low-codedevelopment of belief-desire-intention (BDI) agents
BURAK ÇELİK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiUluslararası Bilgisayar Ana Bilim Dalı (disiplinlerarası)
PROF. DR. GEYLANİ KARDAŞ
- Artificial intelligence driven arbitration: A new approach for efficient arbitrator selection in construction disputes
Yapay zeka destekli tahkim: İnşaat uyuşmazlıklarında etkin hakem seçimi için yeni bir yaklaşım
MOHAMMAD MOBADERSANI
Yüksek Lisans
İngilizce
2026
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR BEHZAT TOKDEMİR
DR. ALİ BEDİİ CANDAŞ
- Use of large language models for the generation of requirements from user stories
Kullanıcı hikayelerinden gereksinimlerin oluşturulması için büyük dil modellerinin kullanımı
MELİS TUĞBA KARALAR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ YAZICI
- An agent-based framework for systematic generative feature engineering in financial markets
Finansal piyasalarda sistematik üretici değişken mühendisliği için yapay zekâ ajanları temelli bir yaklaşım
MUSTAFA ENES KARAMAN
Yüksek Lisans
İngilizce
2026
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBüyük Veri ve İş Analitiği Ana Bilim Dalı (disiplinlerarası)
PROF. DR. ALP ÜSTÜNDAĞ