Development of deep learning-basedsentiment analysis approaches withneural network-based languagemodels
Sinir ağı tabanlı dil modelleriyle derin öğrenme tabanlı duygu analizi yaklaşımlarının geliştirilmesi
- Tez No: 824450
- Danışmanlar: YRD. DOÇ. DR. KÜRŞAT MUSTAFA KARAOĞLAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Karabük Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 74
Özet
Duygu Analizi (DA), metinsel kaynaklarda ifade edilen duyguların veya fikirlerin otomatik olarak tanımlanmasını ve kategorize edilmesini içeren Doğal Dil İşleme görevidir. DA görevlerinde uygulanan Yapay Zeka teknikleri, müşteri tercihleri ve duygu eğilimleri hakkında daha kesin ve güvenilir içgörüler sağlayarak işletmelerin karar alma süreçlerini geliştirmede önemli bir rol oynamaktadır. Bu bağlamda büyük ölçekli ürün incelemeleri, ürünlerinin ayırt edici özelliklerini çıkarmayı, müşteri duygularını anlamayı ve bu sayede hizmetlerini iyileştirmeyi amaçlayan işletmeler için önemli bir potansiyele sahip değerli bilgi kaynağıdır. Ancak büyük kullanıcı popülasyonuna hizmet veren işletmeler için, ürünlerinin geri bildirimleri üzerinde doğru ve hassas analizler gerçekleştirmek otomatikleştirilmiş yaklaşımlar gerektiren karmaşık bir süreçtir. Bununla birlikte kullanıcıların oluşturduğu memnuniyet derecelendirmelerinin ilgili incelemeyle olan tutarlılığının doğrulanmasında da zorluklar ortaya çıkabilmektedir. DA görevlerinde diğer bir zorluk ise kelime veya ifadelerin çeşitli bağlamlarda farklı duyguları ifade edebildiği duygu ifadelerinin doğasında var olan karmaşıklıktır. Duygu ifadelerindeki karmaşıklık göz önüne alındığında, kelimeleri doğru bir şekilde yorumlamak, ifadelerin kullanıldığı bağlamı anlamayı gerektirir. Bu sebeple DA problemlerinin çözümünü daha performanslı bir şekilde gerçekleştirmek için; otomatikleştirilmiş yaklaşımlar kullanarak, kelimeleri veya cümleleri bağlamsallaştırmak ve uygun sınıflandırıcıları seçmek kritik faktörlerdir. Yukarıda bahsedilen problemleri ele almak için bu tez çalışmasında, ürün incelemeleri ve kullanıcı memnuniyet dereceleri kullanılarak, girdilerinde bağlamsallaştırılmış ve bağlamdan bağımsız (statik) dil modellerini kullanan Derin Öğrenme tabanlı DA yaklaşımları önerilmiştir. Söz konusu tez çalışmasında, daha zengin kelime veya cümle temsilleri üreterek metinsel kaynaklarda ifade edilen duyguların daha hassas bir şekilde ele alabilmek için, kelime veya cümlelerin bağlamsal temsil vektörlerinin üretilmesinde Dönüştürücülerden Çift Yönlü Kodlayıcı Temsilleri (BERT) ve Dil Modelinden Temsiller (ELMo) şeklinde son teknoloji önceden eğitilmiş dil modelleri kullanılmıştır. Bağlamsallaştırılmış Dil Modellerine (BDM) ek olarak bu çalışmada Word2Vec, Kelime Temsili için Küresel Vektörler (GloVe) ve Fasttext gibi Statik Sinir Ağı tabanlı Dil Modellerine (SDM) de yer verilmiştir. Kelime veya metin temsillerinin sınıflandırılmasında ise, Derin İleri Beslemeli Sinir Ağı, Uzun Kısa Süreli Bellek, Çift Yönlü Uzun Kısa Süreli Bellek ve Evrişimli Sinir Ağı tabanlı sınıflandırıcı modeller geliştirilmiştir. Önerilen yaklaşımların etkinliklerini ve uygulanan dil modellerinin sınıflandırma performanslarına olan katkılarını analiz etmek amacıyla, literatürde çoğu araştırmacı tarafından kıyaslama veri seti olarak kabul edilmiş Amazon inceleme verileri üzerinde deneysel çalışmalar gerçekleştirilmiştir. Deneysel çalışmaların sonuçları analiz edildiğinde, önerilen yaklaşımlarla yüksek ve rekabetçi performans sonuçları elde edilmiştir. Özellikle CNN tabanlı BERT dil modelini kullanan yaklaşımın %97 eğitim ve %95 test doğruluğu ile en yüksek performansa sahip olduğu belirlenmiştir. Özetle BDM ve SDM kullanan Derin Öğrenme tabanlı Duygu Analizi yaklaşımlarının, metinsel kaynaklardaki duygu ifadelerinin ele alınmasında etkili performanslar sergilediği gözlemlenmiştir. Ayrıca bulgular DA tekniklerinin geliştirilmesinde önerilen yaklaşımların işletmelerin müşteri tercihlerine ve duygularına ilişkin kararlar alma konusundaki önemli potansiyelini ve pratik değerini ortaya koymuştur.
Özet (Çeviri)
Sentiment Analysis (SA) is a Natural Language Processing task that automatically identifies and categorises sentiments or opinions expressed in textual sources. Artificial Intelligence techniques applied in SA tasks are essential in improving business decision-making by providing more precise and reliable insights into customer preferences and sentiment trends. In this context, large-scale product reviews are a valuable source of information with significant potential for businesses aiming to extract the distinctive features of their products, understand customer sentiments and thus improve their services. However, for businesses serving large user populations, performing accurate and precise analysis of product feedback is a complex process that requires automated approaches. Furthermore, difficulties can arise in verifying the consistency of user-generated satisfaction ratings with the relevant review. Another challenge in SA tasks is the inherent complexity of sentiment expressions, where words or phrases can express different sentiments in various contexts. Given the complexity of sentimental expressions, interpreting words correctly requires understanding the context in which they are used. Therefore, contextualizing words or sentences using automated approaches and selecting appropriate classifiers are critical factors to perform better in solving SA problems. To address the aforementioned problems, this thesis proposes Deep Learning-based SA approaches that use contextualized and context-free (static) language models as their inputs, using product reviews and user satisfaction ratings. In this thesis, state-of-the-art pre-trained language models in the form of Bidirectional Encoder Representations from Transformers (BERT) and Embeddings from Language Model (ELMo) are used to generate the contextual representation vectors of words or sentences to generate richer word or sentence representations to capture the sentiment expressed in textual sources more accurately. In addition to Contextualized Language Models (CLMs), Static Neural Network-based Language Models (SLMs) such as Word2Vec, Global Vectors for Word Representation (GloVe) and FastText are also used in this study. Classification models based on Deep Feed Forward Neural Networks, Long-Short Memory, Bidirectional Long-Short Memory, and Convolutional Neural Networks have been developed to classify word or text representations. To analyze the effectiveness of the proposed approaches and the contribution of the applied language models to the classification performance, experimental studies were carried out on Amazon review data, considered a benchmark dataset by most researchers in the literature. When the results of the experimental studies are analyzed, high and competitive performance results are obtained with the proposed approaches. In particular, the approach using the CNN-based BERT language model was found to have the highest performance, with 97% training and 95% testing accuracy. In summary, it has been observed that Deep Learning-based SA approaches using CLMs and SLMs effectively capture sentimental expressions in textual sources. Moreover, the findings reveal the potential and practical value of the proposed approaches in developing SA techniques for businesses to decide on customer preferences and sentiments.
Benzer Tezler
- Analyzing the effects of emotions on fake news detection: A Covid-19 case study
Duyguların sahte haber tespiti üzerindeki etkilerininanalizi: Bir Covıd-19 vaka çalışması
BAHAREH FARHOUDINIA
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiYönetim Bilimleri Bilim Dalı
PROF. DR. NİHAT KASAP
PROF. DR. SELCEN ÖZTÜRKCAN
- Derin öğrenme ile beklenti tabanlı duygu analizi
Aspect based sentiment analysis with deep learning
MELEK TURAN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Uludağ ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. METİN BİLGİN
DR. ALİ DURAN
- Derin öğrenme metodlarını kullanarak arapça metin tabanlı duygu analizi
Arabic text-based senti̇ment analysi̇s using deep learning methods
MARIAM ABAKAR NOKOUR
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EYYÜP GÜLBANDILAR
- X-ray görüntülerinden COVID-19 tespiti için derin öğrenme tabanlı modellerin geliştirilmesi
Development of deep learning based models for COVID-19 detection from X-ray images
GİZEM ÖTER
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBurdur Mehmet Akif Ersoy ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DOÇ. DR. EMRAH HANÇER
- Türkçe konuşma tanıma sistemleri için derin öğrenme tabanlı modellerin geliştirilmesi
Development of deep learning based models for Turkish speech recognition
SAADİN OYUCU
Doktora
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HÜSEYİN POLAT