Recursive deep learning for Turkish sentiment analysis
Yinelemeli derin öğrenme teknikleri ile Türkçe duygu analizi
- Tez No: 688190
- Danışmanlar: PROF. DR. AYDIN SEÇER, DR. ÖĞR. ÜYESİ EBUBEKİR KOÇ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Matematik, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Mathematics, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Matematik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 156
Özet
Bu tez çalışmasında, yinelemeli (recursive) derin öğrenme mimarileri kullanılarak Türkçe'nin biçimbilimsel ve anlambilimsel özelliklerinin bileşkesel modellenmesi amaçlanmıştır. Önerilen yinelemeli derin öğrenme modelleri Türkçe duygu analizi görevi üzerinden test edilmiştir ve geleneksel zincir-yapılı (recurrent) modeller ve makine öğrenmesi modelleri karşılaştırılmıştır. Yinelemeli derin öğrenme mimarilerinin eğitilmesi için öncelikle ağaç-yapılı etiketlenmiş veri kümelerinin oluşturulması gerekmektedir. Bu bağlamda, kelimelerin morfolojik özellikleriyle kök + ekler, kök, kelime ve doküman seviyeleri olmak üzere dört farklı seviyede etiketlenmiş yeni bir duygu bankası (MS-TR) oluşturulmuştur. MS-TR gelecekteki Türkçe yinelemeli derin öğrenme modellerinde kullanılabilecek ilk etiketlenmiş duygu ağacı olması nedeniyle literatüre oldukça önemli bir katkıda bulunmuştur. Yinelemeli Tensör Sinir Ağı, MS-TR üzerinden ikili ve ince-taneli duygu analizi görevi için cümle temsillerini modellemiştir. Yinelemeli Tensör Sinir Ağı modeli, SVM, NB ve MaxEnt gibi makine öğrenmesi modellerine kıyasla en yüksek başarı oranlarını göstermiştir. Yinelemeli Tensör Sinir Ağı modelinin performansını iyileştirmek için ACT-LSTM adlı yeni bir ağaç-yapılı sinir ağı modeli önerilmiştir. ACT-LSTM dikkat ve hafıza mekanizmalarını birleştirerek verinin daha önemli olan kısımlarına odaklanarak öğrenmeyi sağlamaktadır. Böylece kutupluluk içeren kelimeler ağırlıklandırılmış yorum temsiline daha fazla katkı sağlamaktadır. ACT-LSTM, diğer zincir-yapılı modeller ile karşılaştırılarak hangi mimarinin daha iyi olduğu araştırılmıştır. Tezin son kısmında eğitim sırasında sıklıkla ortaya çıkan kaybolan ve patlayan türev (vanishing and exploding gradient) problemine çözüm önerisi olarak yeni bir metasezgisel öğrenme algoritması önerilmiştir. Bu amaçla, her bir arının ayrı bir öğrenme modelini temsil ettiği geliştirilmiş üçlü arı algoritması (BA-3+) önerilmiştir. BA-3+, stokastik gradyan inişi ve tekil değer ayrıştırma mekanızmasını birleştirerek kaybolan ve patlayan türev problemi nedeniyle bilginin kaybolmasını önler. Lokal arama, stokastik gradyan inişi ve tekil değer ayrıştırma kombinasyonu ile en iyi parametre değerlerine yakınsamayı garantilerken, aynı zamanda global arama ile lokal optimum değerine takılıp kalmayı önlemektedir. Önerilen eğitim algoritması, yalnızca stokastik gradyan inişi kullanan diğer modellere kıyasla Türkçe duygu analizi için çok daha iyi doğruluk sonuçları elde etmiştir.
Özet (Çeviri)
In this thesis, Recursive Deep Learning models have been implemented for Turkish sentiment analysis. Although natural language processing has made progress recently, representing compositional meanings is a challenging task. The traditional deep learning methods claim sentences as an ordinary linear structure, i.e. chains or sequences. In this thesis, tree-structured representations of the language have been developed to improve the compositional semantics of the Turkish language considering the morphological structure of the words. To this end, a novel Morphologically Enriched Turkish Sentiment Treebank (MS-TR) has been constructed to encode sentences structure. MS-TR is the first fully-labelled sentiment analysis treebank, which has four different annotation levels, including morph-level, stem-level, token-level, and review-level. Recursive Neural Tensor Networks (RNTN), which operate over MS-TR, have achieved much better results compared to the machine learning methods. In addition to the RNTN model, an advanced tree-structured LSTM model (ACT-LSTM) has been proposed as a novel recursive deep architecture. ACT-LSTM combines both attention and memory mechanisms over recursive tree structures, which learn latent structural information while learning more important parts of the sentences. ACT-LSTM has been compared with advanced chain-structured models to decide which architecture is better. As a third main contribution, a novel metaheuristic training algorithm has been proposed to overcome the vanishing and exploding gradients (VEG) problem, which is usually observed while training models. An enhanced ternary Bees Algorithm (BA-3+) has been implemented, which maintains low time complexity for large dataset classification problems by considering only three individual solutions in each iteration. The algorithm utilises the greedy selection strategy of the local solutions with exploitative search, stabilises the problem of VEGs of the decision parameters using SGD learning with singular value decomposition, and explores the random global solution with explorative search. BA-3+ has achieved faster convergence, avoiding getting trapped at local optima compared to the classical SGD training algorithm.
Benzer Tezler
- Derin öğrenmenin modülasyon sınıflandırma uygulamaları için alanda programlanabilir kapı dizileri üzerinde gerçeklenmesi
Field programmable gate array based implementation of deep learning for modulation classification
KORAY ALIÇ
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN SOYSAL
- Derin öğrenme tekniklerini kullanarak rgb-d nesne tanıma
Rgb-d object recognition using deep learning techniques
ALİ ÇAĞLAYAN
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET BURAK CAN
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Yazılım tanımlı ağlarda makine öğrenme temelli saldırı tespit sistemi
Machine learning based intrusion detection system in software defined networks
BİROL EMEKLİ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. İHSAN HAKAN SELVİ
- Derin öğrenme algoritmaları kullanılarak karakter tabanlı anlamlı kelime üretimi
Using deep learning algorithms character-based word generation
İSA ERGİN
Yüksek Lisans
Türkçe
2023
Bilim ve TeknolojiAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TİMUR İNAN