Sohbet robotu veri seti ile niyet sınıflandırmasında geleneksel ve modern yaklaşımların karşılaştırılması
Comparison of traditional and modern methods in intent classification using a chatbot dataset
- Tez No: 940993
- Danışmanlar: PROF. DR. FATMA AYDIN AKGÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Science and Technology, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Matematik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, sohbet robotu (chatbot) verileri kullanılarak geleneksel ve modern dil modellerinin kapsamlı bir karşılaştırması yapılmaktadır. Geleneksel yöntemler arasında; büyük metin verileri üzerinde eğitilerek kelime vektörleri oluşturan ve kelimeler arası ilişkileri temsil eden Kelimeden Vektöre (Word to Vector, Word2Vec), Küresel Vektörler ile Kelime Temsili (Global Vectors for Word Representation, GloVe) ve Hızlı Metin Temsili (Fast Text Representation, FastText) gibi modeller incelenmiştir. Literatürde bu yöntemlerin sınırlılıkları nedeniyle çalışmada ayrıca modern yöntemlere de yer verilmiştir. Bu kapsamda, derin öğrenme temelli dil anlama ve üretme kabiliyetine sahip Transformatörlerden Çift Yönlü Kodlayıcı Gösterimleri (Bidirectional Encoder Representations from Transformers, BERT), maskeleme tekniğiyle verimli eğitim sağlayan Token Değişimlerini Doğru Şekilde Sınıflandıran Bir Kodlayıcıyı Verimli Şekilde Öğrenme (Efficiently Learning an Encoder that Classifies Token Replacements Accurately, ELECTRA) ve konvolüsyonel yapısıyla öne çıkan Transformatörlerden Evrişimli Çift Yönlü Kodlayıcı Gösterimleri (Convolutional Bidirectional Encoder Representations from Transformers, ConvBERT) gibi modern modeller değerlendirilmiştir. Çalışmada, Türkçe diline özel olarak Türkçe BERT, ConvBERT ve ELECTRA modelleri üzerinde detaylı ince ayar (fine-tuning, FiT) süreçleri uygulanmış ve performansları karşılaştırılmıştır. Ayrıca, bilgiyi geri getirme ile nesil modelini birleştiren yeni bir yaklaşım olan Geri Alma Artırılmış Nesil (Retrieval-Augmented Generation, RAG) yöntemi de analiz edilmiştir. Bu yöntem kapsamında, Dil Zinciri (Language Chain, LangChain) aracılığıyla Üretken Önceden Eğitilmiş Transformatör-4 (Generative Pre-trained Transformer-4, GPT-4) Büyük Dil Modeli (Large Language Model, LLM) kullanılarak sınıf tahmini yapılmıştır. Veri seti, Web Tabanlı Veri Yükleyici (Web Base Loader, WebBaseLoader) kütüphanesi aracılığıyla yapılan web kazıma (web scraping, WS) işlemleri ve RAG destekli üretimle oluşturulmuştur. Performans değerlendirmesi; doğruluk (accuracy), hassasiyet (precision), geri çağırma (recall) ve F1 skoru (F1 Score) gibi temel metriklerle yapılmıştır. Literatürde genellikle hazır veya sentetik İngilizce ve Türkçe veri setleri kullanılırken, bu çalışmada gerçek bir sohbet robotu uygulaması için özel geliştirilen Türkçe veri seti kullanılmıştır. Bu yönüyle çalışma, hem veri niteliği hem de uygulama odaklı yapısıyla literatüre katkı sunmaktadır. Veriler hem ham hem de ön işlemden geçirilmiş biçimleriyle modellere uygulanmış; Türkçe'nin morfolojik yapısı ve kelime türetme kuralları göz önünde bulundurularak modellerin başarımı değerlendirilmiştir. Bu çalışma, Türkçe dilinde daha etkili ve başarılı sohbet robotları geliştirilmesine katkı sağlamayı ve gelecekte yapılacak araştırmalara yol göstermeyi amaçlamaktadır.
Özet (Çeviri)
In this thesis, a comprehensive comparison of traditional and modern language models is conducted using chatbot data. Traditional methods examined include Word to Vector (Word2Vec), Global Vectors for Word Representation (GloVe), and Fast Text Representation (FastText), which generate word embeddings by training on large-scale text corpora and aim to represent semantic relationships between words. Due to the limitations frequently noted in the literature, the study also incorporates modern approaches. These include Bidirectional Encoder Representations from Transformers (BERT), which enables deep learning-based language understanding and generation; Efficiently Learning an Encoder that Classifies Token Replacements Accurately (ELECTRA), which improves training efficiency through token replacement strategies; and Convolutional Bidirectional Encoder Representations from Transformers (ConvBERT), which enhances performance through convolutional architectures. In this study, extensive fine-tuning (FiT) was applied to Turkish-specific versions of BERT, ConvBERT, and ELECTRA, and their performances were comparatively evaluated. Additionally, a recent approach called Retrieval-Augmented Generation (RAG), which combines retrieval mechanisms with generative models, was also analyzed. As part of this approach, class prediction was performed using the Generative Pre-trained Transformer 4 (GPT-4) Large Language Model (LLM) via the Language Chain (LangChain) framework. The dataset was created through web scraping (WS) using the Web Base Loader (WebBaseLoader) library and was further enriched with data generated through the RAG-supported pipeline. Performance evaluation was carried out using fundamental metrics such as accuracy, precision, recall, and F1 score. While pre-built or synthetic English and Turkish datasets are commonly used in the literature, this study utilizes Turkish dataset specifically developed for a real-world chatbot application. In this regard, the study contributes to the literature both in terms of data quality and practical applicability. The models were tested with both raw and preprocessed versions of the dataset. Considering the morphological complexity and derivational rules of the Turkish language, the performance of the models was thoroughly evaluated. This research aims to support the development of more effective and high-performing Turkish-language chatbots and to guide future academic and industrial studies in this field.
Benzer Tezler
- Nüfus kayıtlarının demografik analizler amacıyla kullanılması üzerine bir çalışma
Başlık çevirisi yok
ŞÖHRET BAKIR
Yüksek Lisans
Türkçe
1984
DemografiEge ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. FİKRET İKİZ
- La Narration et les procedes narratifs dans les Faux-Monnayeurs de Gide
Başlık çevirisi yok
FADİME ALPARSLAN
- Radyonun eğitim etkinliğinin, 1000 dinleyici mektubu ışığında değerlendirilmesi
Başlık çevirisi yok
SELMA PİŞKİN
