Geri Dön

Derin öğrenme algoritmaları kullanılarak karakter tabanlı anlamlı kelime üretimi

Using deep learning algorithms character-based word generation

  1. Tez No: 844811
  2. Yazar: İSA ERGİN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ TİMUR İNAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Science and Technology
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Altınbaş Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Teknolojileri Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 111

Özet

Bu çalışmanın amacı derin öğrenme algoritmaları kullanılarak karakter tabanlı bir dil modeli geliştirmek ve Türkçe dil bilgisi kurallarına uygun anlamlı kelime üretmektir. Metin üretimi, bilgisayarların insanların iletişim kurma şeklini taklit ederek doğal dilde metin oluşturmak için kullanılmaktadır. Doğal dilde metin verileri yan yana olarak ve zaman sırasına göre sıralanmış birbiriyle ilişkili kelime veya kelime gruplarının oluşturduğu bütünsel bir düzen şeklinde bulunmaktadır. Metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bu nedenle oluşturulacak kelime, cümle ve metin parçalarında karakterler veya kelimeler arasındaki ilişkilerin iyi öğrenilebilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar verdiği için bu alanda etkili bir şekilde kullanılmaktadır. Çalışmada LSTM, GRU, Kodlayıcı-Kod Çözücü ve dikkat mimarisi kullanılarak Türkçe dil bilgisi kurallarına uygun anlamlı kelimeler üretilmektedir. Çalışmada özellikle Kodlayıcı-Kod Çözücü ve dikkat modeline ağırlık verilmektedir. Nedeni ise diğer modellerin (LSTM/GRU) giriş ve çıkış verilerinin uzunluğu arttıkça karakterler arasındaki ilişkileri hatırlamakta yetersiz kalmalarıdır. Bu sorunların üstesinden gelebilmek için daha uzun girdi ve çıktı dizelerinde daha başarılı sonuçlar veren Kodlayıcı-Kod Çözücü ve Dikkat mimarisi kullanılmaktadır. Çalışmada her bir model 100, 300, 500 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. LSTM modeli 100 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91,3% başarı oranı ile en iyi sonucu, GRU modeli 300 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 93.8% başarı oranı ile en iyi sonucu, Kodlayıcı-Kod Çözücü ve Dikkat modeli 500 epoch ve sıcaklık örnek alma yönteminin 0.2 eşik değerinde 95.7 % başarı oranı ile en iyi sonucu vermektedir. Çalışma sonunda kodlayıcı-kod çözücü ve dikkat mimarisi kullanılarak oluşturulan dil modelinin anlamlı kelime üretiminde ve daha uzun kelime gruplarının oluşturulmasında diğer modellere (LSTM,GRU) göre daha yüksek başarı elde edildiği görülmektedir. Karakter tabanlı geliştirilen modellerin Türkçe dil bilgisi kurallarına uygun kelime ve kelime grubları üretmede başarılı olduğu görülmektedir.

Özet (Çeviri)

The aim of this study is to develop a character-based language model using deep learning algorithms and to produce meaningful words in accordance with Turkish grammar rules. Text generation is used to create text in natural language by imitating the way computers communicate. In natural language, text data exists side by side and in the form of a holistic arrangement of related words or phrases arranged in chronological order. The order and meaning of the characters and words in the text are of great importance. For this reason, deep learning algorithms that learn by remembering past information should be used in order to learn the relationships between characters or words in words, sentences and text fragments to be created. Recursive artificial neural networks, one of the deep learning algorithms, are used effectively in this field because they give successful results in creating sequential patterns by remembering past information. In the study, meaningful words in accordance with Turkish grammar rules are produced by using LSTM, GRU, Encoder-Decoder and attention architecture. In the study, especially the Encoder-Decoder and attention model are emphasized. The reason is that other models (LSTM/GRU) fail to remember the relationships between characters as the length of the input and output data increases. In order to overcome these problems, the Encoder-Decoder and Attention architecture is used, which gives more successful results in longer input and output strings. In the study, each model is operated at different threshold values of the temperature sampling method at 100, 300, 500 epoch values. LSTM model 100 epoch and temperature sampling method best result at 0.5 threshold with 91.3% success rate, GRU model 300 epoch and temperature sampling method best result with 93.8% success rate at 0.5 threshold, Encoder-Decoder and Attention model gives the best result with a success rate of 95.7% at 500 epochs and 0.2 thresholds of the temperature sampling method. At the end of the study, it is seen that the language model created by using encoder-decoder and attention architecture has higher success in producing meaningful words and creating longer word groups than other models (LSTM, GRU). It is seen that the character-based models are successful in producing words and word groups in accordance with Turkish grammar rules.

Benzer Tezler

  1. Deep learning based offline handwritten character recognizer systems with a multilingual handwritten character dataset

    Derin öğrenme tabanlı çevirimdışı etkileşimsiz el yazılı karakter tanıma sistemleri ile çok dilli el yazısı karakter veri seti

    GAYE EDİBOĞLU BARTOS

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. YAŞAR HOŞCAN

    DOÇ. DR. ÉVA NAGYNÉ HAJNAL

  2. Breast cancer data classification using SVM, NB and KNN algorithms

    SVM, NB ve KNN kullanımı ile göğüs kanseri veri sınıflandırması

    BURCU MERAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Matematik Mühendisliği Ana Bilim Dalı

    PROF. DR. KAMİL ORUÇOĞLU

  3. Transforming feedback control systems on whiteboard into Matlab via a deep learning based intelligent system

    Derin öğrenme tabanlı akıllı bir sistem ile beyaz tahtadaki geribeslemeli kontrol sistemlerinin Matlab ortamına aktarılması

    DORUKHAN ERDEM

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUFAN KUMBASAR

  4. Generative adversarial networks based level generation for angry birds

    Çekişmeli üretici ağlar ile angry birds bölümlerinin üretilmesi

    BURKAN YILMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı

    DOÇ. DR. SANEM SARIEL UZER

  5. Osmanlıcadan modern Türkçeye uçtan uca aktarım sistemi

    End-to-end conversion system from Ottoman to modern Turkish

    İSHAK DÖLEK

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-Cerrahpaşa

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ATAKAN KURT