Sohbet robotu veri seti ile niyet sınıflandırmasında geleneksel ve modern yaklaşımların karşılaştırılması
Comparison of traditional and modern methods in intent classification using a chatbot dataset
- Tez No: 940993
- Danışmanlar: PROF. DR. FATMA AYDIN AKGÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Matematik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 92
Özet
Bu tez çalışmasında, sohbet robotu (chatbot) verileri kullanılarak geleneksel ve modern dil modellerinin kapsamlı bir karşılaştırması yapılmaktadır. Geleneksel yöntemler arasında; büyük metin verileri üzerinde eğitilerek kelime vektörleri oluşturan ve kelimeler arası ilişkileri temsil eden Kelimeden Vektöre (Word to Vector, Word2Vec), Küresel Vektörler ile Kelime Temsili (Global Vectors for Word Representation, GloVe) ve Hızlı Metin Temsili (Fast Text Representation, FastText) gibi modeller incelenmiştir. Literatürde bu yöntemlerin sınırlılıkları nedeniyle çalışmada ayrıca modern yöntemlere de yer verilmiştir. Bu kapsamda, derin öğrenme temelli dil anlama ve üretme kabiliyetine sahip Transformatörlerden Çift Yönlü Kodlayıcı Gösterimleri (Bidirectional Encoder Representations from Transformers, BERT), maskeleme tekniğiyle verimli eğitim sağlayan Token Değişimlerini Doğru Şekilde Sınıflandıran Bir Kodlayıcıyı Verimli Şekilde Öğrenme (Efficiently Learning an Encoder that Classifies Token Replacements Accurately, ELECTRA) ve konvolüsyonel yapısıyla öne çıkan Transformatörlerden Evrişimli Çift Yönlü Kodlayıcı Gösterimleri (Convolutional Bidirectional Encoder Representations from Transformers, ConvBERT) gibi modern modeller değerlendirilmiştir. Çalışmada, Türkçe diline özel olarak Türkçe BERT, ConvBERT ve ELECTRA modelleri üzerinde detaylı ince ayar (fine-tuning, FiT) süreçleri uygulanmış ve performansları karşılaştırılmıştır. Ayrıca, bilgiyi geri getirme ile nesil modelini birleştiren yeni bir yaklaşım olan Geri Alma Artırılmış Nesil (Retrieval-Augmented Generation, RAG) yöntemi de analiz edilmiştir. Bu yöntem kapsamında, Dil Zinciri (Language Chain, LangChain) aracılığıyla Üretken Önceden Eğitilmiş Transformatör-4 (Generative Pre-trained Transformer-4, GPT-4) Büyük Dil Modeli (Large Language Model, LLM) kullanılarak sınıf tahmini yapılmıştır. Veri seti, Web Tabanlı Veri Yükleyici (Web Base Loader, WebBaseLoader) kütüphanesi aracılığıyla yapılan web kazıma (web scraping, WS) işlemleri ve RAG destekli üretimle oluşturulmuştur. Performans değerlendirmesi; doğruluk (accuracy), hassasiyet (precision), geri çağırma (recall) ve F1 skoru (F1 Score) gibi temel metriklerle yapılmıştır. Literatürde genellikle hazır veya sentetik İngilizce ve Türkçe veri setleri kullanılırken, bu çalışmada gerçek bir sohbet robotu uygulaması için özel geliştirilen Türkçe veri seti kullanılmıştır. Bu yönüyle çalışma, hem veri niteliği hem de uygulama odaklı yapısıyla literatüre katkı sunmaktadır. Veriler hem ham hem de ön işlemden geçirilmiş biçimleriyle modellere uygulanmış; Türkçe'nin morfolojik yapısı ve kelime türetme kuralları göz önünde bulundurularak modellerin başarımı değerlendirilmiştir. Bu çalışma, Türkçe dilinde daha etkili ve başarılı sohbet robotları geliştirilmesine katkı sağlamayı ve gelecekte yapılacak araştırmalara yol göstermeyi amaçlamaktadır.
Özet (Çeviri)
In this thesis, a comprehensive comparison of traditional and modern language models is conducted using chatbot data. Traditional methods examined include Word to Vector (Word2Vec), Global Vectors for Word Representation (GloVe), and Fast Text Representation (FastText), which generate word embeddings by training on large-scale text corpora and aim to represent semantic relationships between words. Due to the limitations frequently noted in the literature, the study also incorporates modern approaches. These include Bidirectional Encoder Representations from Transformers (BERT), which enables deep learning-based language understanding and generation; Efficiently Learning an Encoder that Classifies Token Replacements Accurately (ELECTRA), which improves training efficiency through token replacement strategies; and Convolutional Bidirectional Encoder Representations from Transformers (ConvBERT), which enhances performance through convolutional architectures. In this study, extensive fine-tuning (FiT) was applied to Turkish-specific versions of BERT, ConvBERT, and ELECTRA, and their performances were comparatively evaluated. Additionally, a recent approach called Retrieval-Augmented Generation (RAG), which combines retrieval mechanisms with generative models, was also analyzed. As part of this approach, class prediction was performed using the Generative Pre-trained Transformer 4 (GPT-4) Large Language Model (LLM) via the Language Chain (LangChain) framework. The dataset was created through web scraping (WS) using the Web Base Loader (WebBaseLoader) library and was further enriched with data generated through the RAG-supported pipeline. Performance evaluation was carried out using fundamental metrics such as accuracy, precision, recall, and F1 score. While pre-built or synthetic English and Turkish datasets are commonly used in the literature, this study utilizes Turkish dataset specifically developed for a real-world chatbot application. In this regard, the study contributes to the literature both in terms of data quality and practical applicability. The models were tested with both raw and preprocessed versions of the dataset. Considering the morphological complexity and derivational rules of the Turkish language, the performance of the models was thoroughly evaluated. This research aims to support the development of more effective and high-performing Turkish-language chatbots and to guide future academic and industrial studies in this field.
Benzer Tezler
- Sunucu tabanlı yapay zekalı COVID-19 belirtileri analizi yapan robot
Server-based artificial intelligence robot analyzing COVID-19 symptoms
UĞUR YILDIRIM
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAfyon Kocatepe ÜniversitesiBilgisayar Ana Bilim Dalı
PROF. DR. ÖMER DEPERLİOĞLU
- Bilişim eğitimi alanında yapay sinir ağı ve doğal dil işleme destekli bir sohbet robotunun (Chatbot) tasarımı ve uygulaması
Design and implementation of a chatbot by artificial neural network and natural language processing in informatics education
MEHMET KEKLİK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKahramanmaraş Sütçü İmam ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FETHULLAH GÖÇER
- Generative AI in Healthcare: A Turkish Chatbot for Symptom Assesment and Tailored Recommendations
Sağlikta üretken yapay zekâ: semptom değerlendirmesi ve kişiye özel öneriler için Türkçe bir sohbet botu
YUNUS EMRE IŞIKDEMİR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT AYDOS
- Генеративдик жасалма интеллект менен корпаративдик чатботторду иштеп чыгуу жананатыйжалуулугун талдоо
Üretken yapay zeka ile kurumsal chatbotların geliştirilmesi ve performans analizi
NURAYIM ERKİNOVA
Yüksek Lisans
Kırgızca
2025
Kırgızistan-Türkiye Manas ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BAKIT ŞARŞEMBAEV
- Python söz dizimi hatalarının derin öğrenme yöntemleri ile onarılması
Fixing python syntax errors with deep learning methods
SENA DİKİCİ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TURGAY TUGAY BİLGİN