Performance comparison of large language models for Turkish natural language processing in higher education
Yükseköğretimde Türkçe doğal dil işleme için büyük dil modellerinin performans karşılaştırması
- Tez No: 946783
- Danışmanlar: DR. ÖĞR. ÜYESİ AYÇA TOPALLI
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İzmir Ekonomi Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 131
Özet
Bu tezde, yükseköğrenim öğrencileri için Türkçe destekli bir konuşma botu ortamında, bir geri çağırma artırılmış üretim sisteminde büyük dil modeli, vektör veri tabanı, gömme modeli ve benzerlik yönteminin kapsamlı bir performans karşılaştırması sunulmuştur. Bu alanda birçok dil için çalışmalar olmasına rağmen, Türkçe dilinde ve özellikle eğitim alanında yapılan çalışma sayısı azdır. Bu nedenle, bu tür sistemlerin bileşenleri Türkçe dil kuralları altında kullanıldığında bunlar için en iyi alternatifleri belirleme ihtiyacı vardır. Bu çalışma, bilimsel deneylerle elde edilen ve pratik olarak gerçekleştirilebilir olan bu ihtiyaca cevap vermektedir. En yaygın kullanılan, iyi bilinen ve güvenilir büyük dil modelleri, bunlarla ilişkili gömme algoritmaları, vektör veri tabanları ve benzerlik ölçümleri seçilmiş ve üniversite yönetmeliklerine dayalı çeşitli soru setleri bunların farklı kombinasyonları üzerinde test edilmiştir. Elde edilen sonuçlara ve yapılan analizlere dayanarak en iyi kombinasyon elde edilmiştir. Bu şekilde, öğrencilerin akademik kurallar hakkında merak ettikleri şeylere kolayca ulaşabilmeleri için optimum Türkçe destekli geri çağırma artırılmış üretim tabanlı sanal akademik danışman botu oluşturulmuştur. Ayrıca bu otomasyonla akademisyen ve idari personelin iş yükü hafifletilmiştir.
Özet (Çeviri)
In this thesis, a comprehensive performance comparison is presented on which large language model, vector database, embedding model and similarity method in a retrieval augmented generation system, in the setting of a Turkish supported conversation bot for the students in higher education. Although there are studies in this field for many languages, the number of studies conducted in the Turkish language and especially in the field of education is low. Therefore, there is a need to identify the best alternatives for the components of such systems when they are used under Turkish language rules. This study gives answers to this need which is obtained through scientifical experimentation and is practically realizable. The most commonly used, well known and reliable large language models, embedding algorithms associated with them, vector databases and similarity measures were selected and several question sets based on university regulations were tested on different combinations of them. Based on the achieved results and analysis made, the best combination was obtained. In this way, the optimal Turkish supported retrieval augmented generation based virtual academic advisor bot was created so that students can easily access what they are inquiring about academic rules. Furthermore, the workload of academics and administrative staff was lightened with this automation.
Benzer Tezler
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. SEFER BADAY
- Large language model based automated translation of natural language to SQL
Büyük dil modeli tabanlı doğal dilden SQL'e otomatik çeviri
ALİ BUĞRA KANBUROĞLU
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolIşık ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FAİK BORAY TEK
- Akademik hukuk makalelerinde atıf önerisi
Citation recommendation on scholarly legal articles
DOĞUKAN ARSLAN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜLŞEN ERYİĞİT
- Turkuaz Türkçe anlamsal temsil modeli ve çok bağlamlı bilgi getirimi kıyaslama veri kümesi
Turkuaz Turkish semantic representation model and multi-context information retrieval benchmark
ENES SADİ UYSAL
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET FATİH AMASYALI
- Advancements in vector retrieval: Analyzing methods and applications in NLP and LLM
Vektör çıkarımındaki gelişmeler: Yöntemlerin ve uygulamaların NLP ve büyük dil modellerinde incelenmesi
YAZIM BERİL ULUER
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstinye ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALPER ÖNER