Derin öğrenme algoritmaları kullanılarak karakter tabanlı anlamlı kelime üretimi
Using deep learning algorithms character-based word generation
- Tez No: 844811
- Danışmanlar: DR. ÖĞR. ÜYESİ TİMUR İNAN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Altınbaş Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilişim Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 111
Özet
Bu çalışmanın amacı derin öğrenme algoritmaları kullanılarak karakter tabanlı bir dil modeli geliştirmek ve Türkçe dil bilgisi kurallarına uygun anlamlı kelime üretmektir. Metin üretimi, bilgisayarların insanların iletişim kurma şeklini taklit ederek doğal dilde metin oluşturmak için kullanılmaktadır. Doğal dilde metin verileri yan yana olarak ve zaman sırasına göre sıralanmış birbiriyle ilişkili kelime veya kelime gruplarının oluşturduğu bütünsel bir düzen şeklinde bulunmaktadır. Metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bu nedenle oluşturulacak kelime, cümle ve metin parçalarında karakterler veya kelimeler arasındaki ilişkilerin iyi öğrenilebilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar verdiği için bu alanda etkili bir şekilde kullanılmaktadır. Çalışmada LSTM, GRU, Kodlayıcı-Kod Çözücü ve dikkat mimarisi kullanılarak Türkçe dil bilgisi kurallarına uygun anlamlı kelimeler üretilmektedir. Çalışmada özellikle Kodlayıcı-Kod Çözücü ve dikkat modeline ağırlık verilmektedir. Nedeni ise diğer modellerin (LSTM/GRU) giriş ve çıkış verilerinin uzunluğu arttıkça karakterler arasındaki ilişkileri hatırlamakta yetersiz kalmalarıdır. Bu sorunların üstesinden gelebilmek için daha uzun girdi ve çıktı dizelerinde daha başarılı sonuçlar veren Kodlayıcı-Kod Çözücü ve Dikkat mimarisi kullanılmaktadır. Çalışmada her bir model 100, 300, 500 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. LSTM modeli 100 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91,3% başarı oranı ile en iyi sonucu, GRU modeli 300 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 93.8% başarı oranı ile en iyi sonucu, Kodlayıcı-Kod Çözücü ve Dikkat modeli 500 epoch ve sıcaklık örnek alma yönteminin 0.2 eşik değerinde 95.7 % başarı oranı ile en iyi sonucu vermektedir. Çalışma sonunda kodlayıcı-kod çözücü ve dikkat mimarisi kullanılarak oluşturulan dil modelinin anlamlı kelime üretiminde ve daha uzun kelime gruplarının oluşturulmasında diğer modellere (LSTM,GRU) göre daha yüksek başarı elde edildiği görülmektedir. Karakter tabanlı geliştirilen modellerin Türkçe dil bilgisi kurallarına uygun kelime ve kelime grubları üretmede başarılı olduğu görülmektedir.
Özet (Çeviri)
The aim of this study is to develop a character-based language model using deep learning algorithms and to produce meaningful words in accordance with Turkish grammar rules. Text generation is used to create text in natural language by imitating the way computers communicate. In natural language, text data exists side by side and in the form of a holistic arrangement of related words or phrases arranged in chronological order. The order and meaning of the characters and words in the text are of great importance. For this reason, deep learning algorithms that learn by remembering past information should be used in order to learn the relationships between characters or words in words, sentences and text fragments to be created. Recursive artificial neural networks, one of the deep learning algorithms, are used effectively in this field because they give successful results in creating sequential patterns by remembering past information. In the study, meaningful words in accordance with Turkish grammar rules are produced by using LSTM, GRU, Encoder-Decoder and attention architecture. In the study, especially the Encoder-Decoder and attention model are emphasized. The reason is that other models (LSTM/GRU) fail to remember the relationships between characters as the length of the input and output data increases. In order to overcome these problems, the Encoder-Decoder and Attention architecture is used, which gives more successful results in longer input and output strings. In the study, each model is operated at different threshold values of the temperature sampling method at 100, 300, 500 epoch values. LSTM model 100 epoch and temperature sampling method best result at 0.5 threshold with 91.3% success rate, GRU model 300 epoch and temperature sampling method best result with 93.8% success rate at 0.5 threshold, Encoder-Decoder and Attention model gives the best result with a success rate of 95.7% at 500 epochs and 0.2 thresholds of the temperature sampling method. At the end of the study, it is seen that the language model created by using encoder-decoder and attention architecture has higher success in producing meaningful words and creating longer word groups than other models (LSTM, GRU). It is seen that the character-based models are successful in producing words and word groups in accordance with Turkish grammar rules.
Benzer Tezler
- Deep learning based offline handwritten character recognizer systems with a multilingual handwritten character dataset
Derin öğrenme tabanlı çevirimdışı etkileşimsiz el yazılı karakter tanıma sistemleri ile çok dilli el yazısı karakter veri seti
GAYE EDİBOĞLU BARTOS
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YAŞAR HOŞCAN
DOÇ. DR. ÉVA NAGYNÉ HAJNAL
- Breast cancer data classification using SVM, NB and KNN algorithms
SVM, NB ve KNN kullanımı ile göğüs kanseri veri sınıflandırması
BURCU MERAL
Yüksek Lisans
İngilizce
2019
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
PROF. DR. KAMİL ORUÇOĞLU
- Transforming feedback control systems on whiteboard into Matlab via a deep learning based intelligent system
Derin öğrenme tabanlı akıllı bir sistem ile beyaz tahtadaki geribeslemeli kontrol sistemlerinin Matlab ortamına aktarılması
DORUKHAN ERDEM
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Generative adversarial networks based level generation for angry birds
Çekişmeli üretici ağlar ile angry birds bölümlerinin üretilmesi
BURKAN YILMAZ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL UZER
- Osmanlıcadan modern Türkçeye uçtan uca aktarım sistemi
End-to-end conversion system from Ottoman to modern Turkish
İSHAK DÖLEK
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-CerrahpaşaBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ATAKAN KURT