Geri Dön

Cevap seçimi için derin öğrenme tabanlı bir melez zeki sistem tasarımı ve gerçekleştirimi

Design and implementation of deep learning-based hybrid intelligent system for answer selection

  1. Tez No: 833083
  2. Yazar: CANER ULUTÜRK
  3. Danışmanlar: PROF. DR. AYBARS UĞUR
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Ege Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 98

Özet

Günümüzde, geliştirilen büyük dil modelleri ve makine öğrenimi teknikleri ile birlikte doğal dil işleme (NLP) konusunun uygulama alanları artmış ve kullanımı da çok hızlı bir şekilde yaygınlaşmıştır. Otomasyon ihtiyacının artması ile birlikte sohbet robotları ve sesli asistanlar kullanıcının isteklerini anlamlandırarak çeşitli işlemleri yerine getirmektedir. Bu anlamlandırma, niyet sınıflandırma ve cevap seçimini de içeren doğal dil işleme yöntemleri kullanılarak yapılmaktadır. Tez kapsamında, sohbet robotlarının temelinde yer alan niyet sınıflandırma ve cevap seçimi için derin öğrenme tabanlı ve veri artırımı destekli bir zeki sistem gerçekleştirimi yapılmıştır. Böylelikle kullanıcı isteklerinin daha yüksek doğruluk ile anlamlandırılmasına katkıda bulunulması amaçlanmıştır. Geliştirilen yöntemde, farklı dil modellerinden (BERT, DistilBERT, RoBERTa, vb.) veya cümle kodlama modelinden (ConveRT) elde edilen öneğitimli gömü özniteliklerinin kullanıldığı üç farklı DIET (Dual Intent and Entity Transformer - Çift Niyet ve Varlık Dönüştürücüsü) mimarisi üzerinde oylamaya dayalı topluluk öğrenme yöntemleri uygulanmıştır. Böylelikle niyet sınıflandırma ve cevap seçimi için tek bir DIET mimarisinin elde ettiği başarıdan daha yüksek başarı değerleri elde edilmiştir. Buna ek olarak, GPT-4 tabanlı veri artırım yöntemleri kullanılarak eğitim veri kümesi zenginleştirilmiş ve daha iyi sonuçlara ulaşılabilmiştir. Yapılan çalışmalar sonucunda 3 aşamalı, GPT-4 ile veri artırımı yapılan, birden fazla DIET mimarisinin farklı öneğitimli gömü özniteliği ile kullanıldığı ve oylamaya dayalı topluluk öğrenmeden yararlanılarak birleştirildiği eşsiz bir mimari ortaya konulmuştur. Geliştirilen mimari esnek olarak tasarlanmıştır. Böylelikle veri kümesi ihtiyaçlarına göre gereken bölümler çıkartılabilmekte, çeşitli öneğitimli gömü öznitelikleri ile eğitilmiş DIET mimarileri kullanılabilmekte ve farklı oylama yöntemleri ile tahminleme sonuçları birleştirilebilmektedir. Bildiğimiz kadarı ile, GPT-4'ün niyet sınıflandırma için veri artırımında kullanıldığı ilk çalışmadır. Üç farklı veri kümesi üzerinde deneysel çalışmalar gerçekleştirilmiştir. Massive ve ATIS veri kümesinde üzerinde yapılan deney sonuçlarının ortalamaları alındığında, ATIS veri kümesinde en iyi üçüncü, Massive veri kümesinde en iyi ikinci sonuca ulaşılmıştır. Tekrarlanan deneylerde alınan en iyi sonuçlar incelendiğinde ise, her iki veri kümesinde de en başarılı doğruluğa ulaşılmıştır. Mimarinin cevap seçimi modülü ile birlikte kullanımının test edilmesi için Rasa demo veri kümesinden yararlanılmıştır. Bu veri kümesi üzerinde yapılan deneylerde de topluluk öğrenmenin başarıma olumlu katkısı gözlemlenmiştir.

Özet (Çeviri)

Nowadays, with the developed large language models and machine learning techniques, the application areas of natural language processing (NLP) have increased and its use has become widespread very quickly. With the increasing need for automation, chatbots, and voice assistants carry out various operations by making sense of the user's requests. This is done using natural language processing methods, including intent classification and response selection. Within the scope of the thesis, a deep learning-based and data augmentation-supported intelligent system has been implemented for intent classification and response selection, which are the basis of chatbots. Thus, it is aimed to contribute to the interpretation of user requests with greater accuracy. In the developed method, voting-based ensemble learning methods were applied on three different DIET (Dual Intent and Entity Transformer) architectures using pre-trained embedding features obtained from different language models (BERT, DistilBERT, RoBERTa, etc.) or a sentence coding model (ConveRT). Thus, higher success values were obtained for intention classification and answer selection than the success of a single DIET architecture. In addition, by using GPT-4 based data augmentation methods, the training dataset was enriched and better results were achieved. As a result of the studies, a unique architecture with 3 stages has been put forward which has data augmentation with GPT-4, uses multiple DIET architectures with different pre-trained embedding features, and combines them by using voting-based ensemble learning. The developed architecture is designed to be flexible. Thus, the necessary parts can be removed according to the needs of the dataset, DIET architectures trained with various pre-trained embedding features can be used, and prediction results can be combined with different voting methods. To the best of our knowledge, this is the first study in which GPT-4 is used for data augmentation for intent classification. Experimental studies were carried out on three different datasets. When the results of the experiments on the Massive and ATIS datasets were averaged, the third-best result was obtained on the ATIS dataset and the second-best result was obtained on the Massive dataset. When the best results obtained in repeated experiments were analysed, the best accuracy was achieved in both datasets. The Rasa demo dataset was used to test the use of the architecture with the answer selection module. In the experiments conducted on this dataset, the positive contribution of ensemble learning to the performance was observed.

Benzer Tezler

  1. Patolojik seslerin tanısı için derin öğrenme tabanlı tıbbi karar destek sisteminin geliştirilmesi

    Development of a deep learning-based medical decision support system for the diagnosis of pathological voices

    İREM BİGAT

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    BiyomühendislikTOBB Ekonomi ve Teknoloji Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    PROF. DR. OSMAN EROĞUL

  2. An ontology based approach for question answering systems that using machine learning

    Makine öğrenmesi kullanan soru cevaplama sistemleri için ontoloji tabanlı bir yaklaşım

    ZEKERİYA ANIL GÜVEN

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT OSMAN ÜNALIR

  3. New edge computing offloading methods for next generation wireless networks

    Yeni nesil haberleşme sistemleri için geliştirilen kenar ağlarda bilgi işlem yük boşaltma yöntemleri

    BESTE ATAN

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. LÜTFİYE DURAK ATA

  4. Distilling knowledge of neural networks for image analysis, model compression, data protection and minimization

    Görüntü analizi, model sıkıştırma, veri koruma ve minimizasyonu için yapay sinir ağlarının bilgisinin damıtılması

    REYHAN KEVSER KESER

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. BEHÇET UĞUR TÖREYİN

  5. Gömülü sistemlerde sesli komut tanıma

    Voice command recognation in embedded systems

    CAN ÇETİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA DOĞAN