Cevap seçimi için derin öğrenme tabanlı bir melez zeki sistem tasarımı ve gerçekleştirimi
Design and implementation of deep learning-based hybrid intelligent system for answer selection
- Tez No: 833083
- Danışmanlar: PROF. DR. AYBARS UĞUR
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 98
Özet
Günümüzde, geliştirilen büyük dil modelleri ve makine öğrenimi teknikleri ile birlikte doğal dil işleme (NLP) konusunun uygulama alanları artmış ve kullanımı da çok hızlı bir şekilde yaygınlaşmıştır. Otomasyon ihtiyacının artması ile birlikte sohbet robotları ve sesli asistanlar kullanıcının isteklerini anlamlandırarak çeşitli işlemleri yerine getirmektedir. Bu anlamlandırma, niyet sınıflandırma ve cevap seçimini de içeren doğal dil işleme yöntemleri kullanılarak yapılmaktadır. Tez kapsamında, sohbet robotlarının temelinde yer alan niyet sınıflandırma ve cevap seçimi için derin öğrenme tabanlı ve veri artırımı destekli bir zeki sistem gerçekleştirimi yapılmıştır. Böylelikle kullanıcı isteklerinin daha yüksek doğruluk ile anlamlandırılmasına katkıda bulunulması amaçlanmıştır. Geliştirilen yöntemde, farklı dil modellerinden (BERT, DistilBERT, RoBERTa, vb.) veya cümle kodlama modelinden (ConveRT) elde edilen öneğitimli gömü özniteliklerinin kullanıldığı üç farklı DIET (Dual Intent and Entity Transformer - Çift Niyet ve Varlık Dönüştürücüsü) mimarisi üzerinde oylamaya dayalı topluluk öğrenme yöntemleri uygulanmıştır. Böylelikle niyet sınıflandırma ve cevap seçimi için tek bir DIET mimarisinin elde ettiği başarıdan daha yüksek başarı değerleri elde edilmiştir. Buna ek olarak, GPT-4 tabanlı veri artırım yöntemleri kullanılarak eğitim veri kümesi zenginleştirilmiş ve daha iyi sonuçlara ulaşılabilmiştir. Yapılan çalışmalar sonucunda 3 aşamalı, GPT-4 ile veri artırımı yapılan, birden fazla DIET mimarisinin farklı öneğitimli gömü özniteliği ile kullanıldığı ve oylamaya dayalı topluluk öğrenmeden yararlanılarak birleştirildiği eşsiz bir mimari ortaya konulmuştur. Geliştirilen mimari esnek olarak tasarlanmıştır. Böylelikle veri kümesi ihtiyaçlarına göre gereken bölümler çıkartılabilmekte, çeşitli öneğitimli gömü öznitelikleri ile eğitilmiş DIET mimarileri kullanılabilmekte ve farklı oylama yöntemleri ile tahminleme sonuçları birleştirilebilmektedir. Bildiğimiz kadarı ile, GPT-4'ün niyet sınıflandırma için veri artırımında kullanıldığı ilk çalışmadır. Üç farklı veri kümesi üzerinde deneysel çalışmalar gerçekleştirilmiştir. Massive ve ATIS veri kümesinde üzerinde yapılan deney sonuçlarının ortalamaları alındığında, ATIS veri kümesinde en iyi üçüncü, Massive veri kümesinde en iyi ikinci sonuca ulaşılmıştır. Tekrarlanan deneylerde alınan en iyi sonuçlar incelendiğinde ise, her iki veri kümesinde de en başarılı doğruluğa ulaşılmıştır. Mimarinin cevap seçimi modülü ile birlikte kullanımının test edilmesi için Rasa demo veri kümesinden yararlanılmıştır. Bu veri kümesi üzerinde yapılan deneylerde de topluluk öğrenmenin başarıma olumlu katkısı gözlemlenmiştir.
Özet (Çeviri)
Nowadays, with the developed large language models and machine learning techniques, the application areas of natural language processing (NLP) have increased and its use has become widespread very quickly. With the increasing need for automation, chatbots, and voice assistants carry out various operations by making sense of the user's requests. This is done using natural language processing methods, including intent classification and response selection. Within the scope of the thesis, a deep learning-based and data augmentation-supported intelligent system has been implemented for intent classification and response selection, which are the basis of chatbots. Thus, it is aimed to contribute to the interpretation of user requests with greater accuracy. In the developed method, voting-based ensemble learning methods were applied on three different DIET (Dual Intent and Entity Transformer) architectures using pre-trained embedding features obtained from different language models (BERT, DistilBERT, RoBERTa, etc.) or a sentence coding model (ConveRT). Thus, higher success values were obtained for intention classification and answer selection than the success of a single DIET architecture. In addition, by using GPT-4 based data augmentation methods, the training dataset was enriched and better results were achieved. As a result of the studies, a unique architecture with 3 stages has been put forward which has data augmentation with GPT-4, uses multiple DIET architectures with different pre-trained embedding features, and combines them by using voting-based ensemble learning. The developed architecture is designed to be flexible. Thus, the necessary parts can be removed according to the needs of the dataset, DIET architectures trained with various pre-trained embedding features can be used, and prediction results can be combined with different voting methods. To the best of our knowledge, this is the first study in which GPT-4 is used for data augmentation for intent classification. Experimental studies were carried out on three different datasets. When the results of the experiments on the Massive and ATIS datasets were averaged, the third-best result was obtained on the ATIS dataset and the second-best result was obtained on the Massive dataset. When the best results obtained in repeated experiments were analysed, the best accuracy was achieved in both datasets. The Rasa demo dataset was used to test the use of the architecture with the answer selection module. In the experiments conducted on this dataset, the positive contribution of ensemble learning to the performance was observed.
Benzer Tezler
- Patolojik seslerin tanısı için derin öğrenme tabanlı tıbbi karar destek sisteminin geliştirilmesi
Development of a deep learning-based medical decision support system for the diagnosis of pathological voices
İREM BİGAT
Yüksek Lisans
Türkçe
2022
BiyomühendislikTOBB Ekonomi ve Teknoloji ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. OSMAN EROĞUL
- An ontology based approach for question answering systems that using machine learning
Makine öğrenmesi kullanan soru cevaplama sistemleri için ontoloji tabanlı bir yaklaşım
ZEKERİYA ANIL GÜVEN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT OSMAN ÜNALIR
- New edge computing offloading methods for next generation wireless networks
Yeni nesil haberleşme sistemleri için geliştirilen kenar ağlarda bilgi işlem yük boşaltma yöntemleri
BESTE ATAN
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
- Distilling knowledge of neural networks for image analysis, model compression, data protection and minimization
Görüntü analizi, model sıkıştırma, veri koruma ve minimizasyonu için yapay sinir ağlarının bilgisinin damıtılması
REYHAN KEVSER KESER
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Gömülü sistemlerde sesli komut tanıma
Voice command recognation in embedded systems
CAN ÇETİN
Yüksek Lisans
Türkçe
2020
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA DOĞAN