Performance comparison of large language models for Turkish natural language processing in higher education
Yükseköğretimde Türkçe doğal dil işleme için büyük dil modellerinin performans karşılaştırması
- Tez No: 946783
- Danışmanlar: DR. ÖĞR. ÜYESİ AYÇA TOPALLI
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Doğal dil işleme, Natural language processing
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İzmir Ekonomi Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezde, yükseköğrenim öğrencileri için Türkçe destekli bir konuşma botu ortamında, bir geri çağırma artırılmış üretim sisteminde büyük dil modeli, vektör veri tabanı, gömme modeli ve benzerlik yönteminin kapsamlı bir performans karşılaştırması sunulmuştur. Bu alanda birçok dil için çalışmalar olmasına rağmen, Türkçe dilinde ve özellikle eğitim alanında yapılan çalışma sayısı azdır. Bu nedenle, bu tür sistemlerin bileşenleri Türkçe dil kuralları altında kullanıldığında bunlar için en iyi alternatifleri belirleme ihtiyacı vardır. Bu çalışma, bilimsel deneylerle elde edilen ve pratik olarak gerçekleştirilebilir olan bu ihtiyaca cevap vermektedir. En yaygın kullanılan, iyi bilinen ve güvenilir büyük dil modelleri, bunlarla ilişkili gömme algoritmaları, vektör veri tabanları ve benzerlik ölçümleri seçilmiş ve üniversite yönetmeliklerine dayalı çeşitli soru setleri bunların farklı kombinasyonları üzerinde test edilmiştir. Elde edilen sonuçlara ve yapılan analizlere dayanarak en iyi kombinasyon elde edilmiştir. Bu şekilde, öğrencilerin akademik kurallar hakkında merak ettikleri şeylere kolayca ulaşabilmeleri için optimum Türkçe destekli geri çağırma artırılmış üretim tabanlı sanal akademik danışman botu oluşturulmuştur. Ayrıca bu otomasyonla akademisyen ve idari personelin iş yükü hafifletilmiştir.
Özet (Çeviri)
In this thesis, a comprehensive performance comparison is presented on which large language model, vector database, embedding model and similarity method in a retrieval augmented generation system, in the setting of a Turkish supported conversation bot for the students in higher education. Although there are studies in this field for many languages, the number of studies conducted in the Turkish language and especially in the field of education is low. Therefore, there is a need to identify the best alternatives for the components of such systems when they are used under Turkish language rules. This study gives answers to this need which is obtained through scientifical experimentation and is practically realizable. The most commonly used, well known and reliable large language models, embedding algorithms associated with them, vector databases and similarity measures were selected and several question sets based on university regulations were tested on different combinations of them. Based on the achieved results and analysis made, the best combination was obtained. In this way, the optimal Turkish supported retrieval augmented generation based virtual academic advisor bot was created so that students can easily access what they are inquiring about academic rules. Furthermore, the workload of academics and administrative staff was lightened with this automation.
Benzer Tezler
- Otomatik veri etiketleme ile varlık ismi tanıma
Turkish named entity recognition automatically annotated data
MUSTAFA KESKİN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BANU DİRİ
- Derin öğrenme yöntemleri ile otomatik metin özetleme
Automatic text summarization with deep learning
NAZAN KEMALOĞLU ALAGÖZ
Doktora
Türkçe
2022
Mühendislik BilimleriSüleyman Demirel ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
- Short term electricity load forecasting with deep learning
Derin öğrenme ile kısa dönemli elektrik yük talep tahmini
İBRAHİM YAZICI
Doktora
İngilizce
2022
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA
- On beşinci yüzyıl edvar yazarlarının metinlerinde müzik ve kozmogoni ilişkisi
Music and cosmogony association in the music theory treatises of the fifteenth century Ottoman empire
DOĞUŞ ÇİÇEK
Doktora
Türkçe
2022
Tarihİstanbul Teknik ÜniversitesiMüzikoloji ve Müzik Teorisi Ana Bilim Dalı (disiplinlerarası)
PROF. DR. NİLGÜN DOĞRUSÖZ DİŞİAÇIK
- İTÜ NER - Türkçe metinlerde adlandırılmış varlık tespiti
ITU NER - named entity recognition on Turkish texts
GÖKHAN AKIN ŞEKER
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. GÜLŞEN ERYİĞİT
- Hakem atama otomasyonu için bir karar destek sistemi: Doğal dil işleme ve veri-güdümlü optimizasyon ile bütünleşik bir yaklaşım
A decision support system for reviewer assignment automation: An integrated approach with natural language processing and data-driven optimization
MELTEM AKSOY
Doktora
Türkçe
2023
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEDA YANIK ÖZBAY
PROF. DR. MEHMET FATİH AMASYALI