Büyük dil modeli tabanlı üniversite sanal asistanı geliştirilmesi
Development of a university assistant based on large language model
- Tez No: 972176
- Danışmanlar: DOÇ. ALİ FURKAN KAMANLI
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Retrieval Augmented Generation, Büyük Dil Modelleri, Vektör Arama, Doğal Dil İşleme, Yapay Zekâ Destekli Sohbet Asistanı, Retrieval-Augmented Generation, Large Language Models (LLM), Vector Search, Natural Language Processing, AI-Powered Conversational Assistant
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Sakarya Uygulamalı Bilimler Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, büyük dil modellerinin (LLM) bilgi erişim süreçlerindeki yetkinliğini artırmak amacıyla Retrieval-Augmented Generation (RAG) mimarisi temelinde Türkçe çalışan, üniversite duyurularını işleyebilen yapay zekâ destekli bir asistan sistemi geliştirilmiştir. Sistem; web kazıma, HTML içerik temizleme, semantik vektörleştirme, yeniden sıralama (reranker) ve yönerge tabanlı istem mühendisliği gibi bileşenleri içeren çok katmanlı bir mimariyle yapılandırılmıştır. Sistem, kullanıcılara anlamlı, doğru ve güncel bilgi sunmayı hedeflemiştir. Gerçekleştirilen deneysel çalışmalar, sistemin bilgi erişim performansını ölçmeye yönelik analizler içermektedir. Üniversiteye ait lisansüstü program duyuruları, çeşitli görev türlerine göre sınıflandırılmış ve kullanıcıdan gelen doğal dildeki sorguların semantik benzerliği vektör uzayında değerlendirilmiştir. Bu süreçte, klasik anahtar kelime temelli arama yaklaşımlarına kıyasla, embedding temelli erişimin çok daha yüksek bağlamsal doğruluk sunduğu gözlemlenmiştir. Sistem, her kullanıcı sorgusunu, vektör veri tabanındaki duyurularla eşleştirmekte ve ardından dil modeli ile yanıt oluşturmaktadır. Sistem çıktılarının doğruluk, bağlamsal tutarlılık ve bilgilendiricilik açısından değerlendirilmesi sonucunda, özellikle instruction-based prompting tekniklerinin ve reranker modülünün sisteme önemli katkı sağladığı belirlenmiştir. Sonuçlar, modelin halüsinasyon üretimini baskılayan reranker modülünün sistem güvenilirliği açısından kritik bir bileşen olduğunu ortaya koymuştur. Tez kapsamında geliştirilen segmentasyon tabanlı HTML içerik işleme yaklaşımı da özgün katkılar arasında yer almaktadır. Sistem, yalnızca web kazıma yapmakla kalmamış; aynı zamanda HTML hiyerarşisine dayalı olarak geliştirilmiştir. Veri içerikleri semantik olarak anlamlı parçalara bölmüş, gürültülü veriden arındırılmış ve yapılandırılmış metin üretilmiştir. Sistemin sınırlılıkları arasında bazı duyurularda tarih ve yer gibi bağlamsal unsurların eksikliği nedeniyle genel geçer yanıtlar üretme durumu gözlemlenmiştir. Ayrıca HTML içeriklerinin düzensizliği, veri temizleme sürecini zaman zaman zorlaştırmıştır. Bu bağlamda, gelecekteki çalışmalarda daha kapsamlı etiketleme yöntemleri ve yapay zekâ destekli içerik doğrulama tekniklerinin entegrasyonu önerilmektedir. Sonuç olarak, tez kapsamında geliştirilen yapay zekâ destekli duyuru asistanı, bilgiye erişimi hem hız hem de doğruluk açısından önemli ölçüde iyileştirmiştir. Geliştirilen sistem, yalnızca akademik kurumlara değil, farklı alanlardaki bilgi yönetim süreçlerine de uyarlanabilir nitelikte olup, yerel dilde çalışan özelleştirilmiş RAG sistemlerinin geliştirilmesine yönelik önemli bir örnek teşkil etmektedir.
Özet (Çeviri)
In this thesis, an artificial intelligence-supported assistant system that works in Turkish and can process university announcements in real time was developed based on the Retrieval-Augmented Generation (RAG) architecture in order to increase the competence of large language models (LLM) in information retrieval processes. The system is structured with a multi-layered architecture that includes components such as web scraping, HTML content cleaning, semantic vectorization, reranker and instruction-based request engineering. The system aims to provide meaningful, accurate and up-to-date information to users. The experimental studies conducted include multi-dimensional analyzes to measure the information retrieval performance of the system. University graduate program announcements were classified according to various task types and the semantic similarity of natural language queries from the user was evaluated in the vector space. In this process, it was observed that embedding-based access provided much higher contextual accuracy compared to classical keyword-based search approaches. The system matches each user query with the announcements in the vector database and then creates a response with the language model. As a result of the evaluation of the system outputs in terms of accuracy, contextual consistency and informativeness, it was determined that especially instruction-based prompting techniques and the reranker module made significant contributions to the system. The results revealed that the reranker module, which suppresses the hallucination production of the model, is a critical component in terms of system reliability. The segmentation-based HTML content processing approach developed within the scope of the thesis is also among the original contributions. The system not only performed web scraping; it also divided the contents into semantically meaningful pieces based on the HTML hierarchy, and produced structured text purified from noisy data. Among the limitations of the system, it was observed that some announcements produced general responses due to the lack of contextual elements such as date and location. In addition, the irregularity of the HTML content made the data cleaning process difficult from time to time. In this context, the integration of more comprehensive tagging methods and AI- supported content verification techniques is recommended in future studies. As a result, the AI-supported announcement assistant developed within the scope of the thesis significantly improved access to information in terms of both speed and accuracy. The developed system is adaptable not only to academic institutions but also to information management processes in different fields, and constitutes an important example for the development of customized RAG systems operating in the local language.
Benzer Tezler
- Performance comparison of large language models for Turkish natural language processing in higher education
Yükseköğretimde Türkçe doğal dil işleme için büyük dil modellerinin performans karşılaştırması
EGECAN ÇETİN
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİzmir Ekonomi ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYÇA TOPALLI
- Einsatz einer lernplattform zur sprachlichen bildung von daf-studierenden
Almanca öğretmeni adaylarının dilsel eğitimlerine yönelik bir öğrenme platformunun kullanılması
ÜLKÜ KALE
Yüksek Lisans
Almanca
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DOÇ. DR. DALIM ÇİĞDEM ÜNAL
- Generative AI in Healthcare: A Turkish Chatbot for Symptom Assesment and Tailored Recommendations
Sağlikta üretken yapay zekâ: semptom değerlendirmesi ve kişiye özel öneriler için Türkçe bir sohbet botu
YUNUS EMRE IŞIKDEMİR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT AYDOS
- Билим, илим жана маданият тармагындагы Кыргызстан менен Түркиянын кызматташтыгы (1992-2012 жж.)
Kırgız Cumhuriyeti ile Türkiye Cumhuriyeti arasında eğitim, bilim ve kültürel ilişkiler (1992-2012)
KADRİ AĞGÜN
Doktora
Kırgızca
2016
TarihKyrgyz State Unıversıty Named After I ArabaevTarih Ana Bilim Dalı
PROF. DR. TÖLÖBEK ABDRAHMANOV
- A Case study on mobile-blended collaborative learning in an English as a foreign language (EFL) context
Yabancı dil olarak İngilizce bağlamında mobil - harmanlanmış işbirliğine dayalı öğrenme üzerine bir durum çalışması
HÜLYA AVCI
Yüksek Lisans
İngilizce
2016
Eğitim ve ÖğretimBahçeşehir ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
DOÇ. DR. TUFAN ADIGÜZEL