Küçük dil modellerinin türkçe bağlamlı soru-cevap ve çıkarım görevlerinde ingilizce akıl yürütme-türkçe yanıt stratejisiyle lora ince ayarı
Lora fine-tuning of small language models for turkish contextual question answering and inference via an english reasoning–turkish answer strategy
- Tez No: 946040
- Danışmanlar: DR. ÖĞR. ÜYESİ GÖKALP TULUM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Dil modelleri, Language models
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Üsküdar Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Türkçe gibi düşük kaynaklı dillerde, küçük ölçekli Büyük Dil Modellerinin (LLM) soru-cevap ve Bilgi Getirmeli Üretim (RAG) görevlerindeki başarımını artırmak amacıyla veri verimli bir ince ayar stratejisi geliştirilmiştir. Bu kapsamda, Qwen-3-0.6B-Chat modeli, Düşük Sıra Uyarlaması (LoRA) tabanlı bir yöntemle iki özgün veri kümesi kullanılarak eğitilmiştir. Veri setlerinden biri tamamen Türkçe içeriklidir; diğeri ise %25 oranında İngilizce düşünce zinciri içeren Türkçe yanıt formatına sahip yapıdadır. Türkçe İleri Düzey Akıl Yürütme Değerlendirmesi (TARA) veri seti kıyaslamalı testler, İngilizce düşünce zinciriyle eğitilen 0,6 milyar parametreli modelin, temel modele kıyasla Bilimsel Açıklama kategorisinde %11 ve Tarihsel Nedensellik kategorisinde %18 daha başarılı olduğunu göstermiştir. Bu strateji 1,7 milyar parametreli daha büyük bir modele uyarlandığında, kazanım oranları düşmekle birlikte, kod üretimi gibi bazı alanlarda görülen hafif gerileme, uzmanlaşma-unutma arasında yaşanan ödünleşimi doğrulamıştır. Niteliksel analizler, İngilizce düşünce zincirinin, modelin kanıt hiyerarşisi kurma ve hipotez değerlendirme yeteneğini belirgin şekilde geliştirdiğini ortaya koymuştur. Sonuç olarak,“İngilizce düşün, Türkçe cevap ver”yaklaşımının, kaynak kısıtlı ortamlarda Türkçe RAG kalitesini yükseltmek için donanım dostu ve verimli bir çözüm olduğu saptanmıştır. Gelecek çalışmalar için daha büyük modeller ve alana özel Türkçe RAG verileriyle testler yapılması önerilmektedir.
Özet (Çeviri)
A data-efficient fine-tuning strategy has been developed to enhance the performance of small-scale Large Language Models (LLMs) in question-answering and Retrieval-Augmented Generation (RAG) tasks for low-resource languages like Turkish. In this context, the Qwen-3-0.6B-Chat model was trained using a Low-Rank Adaptation (LoRA) based method with two bespoke datasets: One containing entirely Turkish content, and the other incorporating a 25% format of English chain-of-thought + Turkish response. Tests on the Turkish Advanced Reasoning Assessment (TARA) benchmark showed that the 0.6-billion-parameter model trained with an English chain-of-thought outperformed the base model by 11 % in the Scientific Explanation category and 18 % in the Historical Causality category. When this strategy was adapted to a larger 1.7-billion-parameter model, the performance gains diminished, and a slight regression in areas such as code generation further confirmed the specialization–forgetting trade-off. Qualitative analyses have revealed that the English chain-of-thought significantly improves the model's ability to establish evidence hierarchies and evaluate hypotheses. Consequently, the Think in English Answer in Turkish approach has been identified as a hardware-friendly and efficient solution for enhancing Turkish RAG quality in resource-constrained environments. Future work should include testing with larger models and domain-specific Turkish RAG datasets.
Benzer Tezler
- Landsat uydusu aracılığı ile elde edilen görüntülerin sınıflandırılmaları ve bunlara ilişkin bilgisayar programlarının hazırlanması
Başlık çevirisi yok
G. FERZAN KÜÇÜKA
Yüksek Lisans
Türkçe
1985
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİS PÜSKÜLCÜ
- Dokuma kumaşlarda örgü tipinin ham kumaşın boyutları ve geometrik özellikleri üzerindeki etkilerinin araştırılması
Başlık çevirisi yok
EMEL ÖNDER
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNGÖR BAŞER
- Çocuklarda akut stres hiperglisemisinde hormonal değişikliklerin ve kısa süreli prognozun incelenmesi
Başlık çevirisi yok
AYGÜN DİNDAR
Tıpta Uzmanlık
Türkçe
1987
Çocuk Sağlığı ve Hastalıklarıİstanbul ÜniversitesiÇocuk Sağlığı ve Hastalıkları Hemşireliği Ana Bilim Dalı
DOÇ. DR. HÜLYA GÜNÖZ
- İki katlı pamuk ipliklerinden dokunan kumaşlarda örgüye bağlı olarak maksimum atkı sıklığının değişimi üzerinde bir araştırma
Başlık çevirisi yok
MELTEM ASLI NARTER
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNGÖR BAŞER
- Manisa yöresinde domateste anlaşmalı tarım ve karşılaşılan sorunlar
Başlık çevirisi yok
OSMAN MURAT KOÇTÜRK
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
PROF. DR. METİN TALİM