Derin öğrenme yöntemleri kullanılarak çok modlu duygu analizi
Multimodal sentiment analysis using deep learning methods
- Tez No: 999873
- Danışmanlar: DR. ÖĞR. ÜYESİ MEHMET KÜRŞAT ÖKSÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Ses duygu analizi, İnsan-yapay zeka etkileşimi, Speech emotion analysis, Human-artificial intelligence interaction
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Erzincan Binali Yıldırım Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka ve Robotik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çok modlu duygu analizi; metin, ses ve görüntü gibi farklı veri türlerinin birlikte değerlendirilmesiyle duyguların daha kapsamlı biçimde incelenmesini sağlayan bir yaklaşımdır. Metin verilerinde dil yapısı ve kelime seçimi; ses verilerinde tonlama, vurgu ve ses perdesi; görsel verilerde ise yüz ifadeleri ve mimikler duygu durumunun anlaşılmasında önemli ipuçları sunmaktadır. Bu yöntem günümüzde sosyal medya analizinden sağlık, eğitim ve pazarlama gibi birçok alanda kullanılmaktadır. Bu çalışmada metin ve ses verileri birlikte ele alınarak çok modlu bir duygu analizi modeli geliştirilmiştir. Çalışmada MELD veri seti kullanılmış ve deneyler üç farklı etiketleme senaryosu altında gerçekleştirilmiştir: 3 duygu (negative, neutral, positive), 5 duygu (anger, sadness, joy, neutral, surprise) ve 7 duygu (anger, sadness, joy, neutral, surprise, fear, disgust). Metin modalitesi için önceden eğitilmiş RoBERTa modeli kullanılarak bağlamsal metin temsilleri elde edilmiş; ses modalitesi için ise kendi kendine denetimli öğrenme yaklaşımıyla temsil üreten HuBERT modeli tercih edilmiştir. HuBERT temsilleri MLP tabanlı bir sınıflandırıcı ile duygu sınıflandırma sürecine dâhil edilmiştir. Metin ve ses modaliteleri geç füzyon yaklaşımıyla karar düzeyinde birleştirilmiştir. Model performansı Weighted F1 (WF1) başta olmak üzere doğruluk, ROC eğrileri ve karışıklık matrisleri ile değerlendirilmiştir. Sonuçlar, geç füzyon modelinin tekil modellere kıyasla daha tutarlı performans sağladığını göstermiştir. WF1 değerleri 3, 5 ve 7 duygu senaryoları için sırasıyla 72, 66 ve 62 olarak elde edilmiştir
Özet (Çeviri)
Multimodal sentiment analysis enables a more comprehensive examination of emotions by jointly evaluating different data modalities such as text, audio, and visual cues. Linguistic structures and word choices in text, prosodic features such as intonation and pitch in audio, and facial expressions in visual data provide complementary signals for understanding emotional states. This approach has been widely applied in areas including social media analysis, healthcare, education, and marketing. In this study, a multimodal emotion recognition model was developed by jointly utilizing text and audio modalities. Experiments were conducted on the MELD (Multimodal EmotionLines Dataset) under three labeling scenarios: 3 emotions (negative, neutral, positive), 5 emotions (anger, sadness, joy, neutral, surprise), and 7 emotions (anger, sadness, joy, neutral, surprise, fear, disgust). For the text modality, contextual representations were obtained using a pretrained RoBERTa model, while HuBERT was used for audio representation learning through a self-supervised approach. The extracted HuBERT features were classified using a lightweight MLP-based architecture. Text and audio modalities were integrated using a late fusion strategy, where class probabilities from separately trained models were combined at the decision level. Model performance was evaluated using Weighted F1 alongside accuracy and additional analyses such as ROC curves and confusion matrices. Results indicate that the late fusion model provides more consistent performance compared to single-modality approaches, achieving WF1 scores of 72, 66, and 62 for the 3-, 5-, and 7-class scenarios, respectively.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Deep arab sentiment exploring the analysis of sentiment in arab social discourse
Derın arap duygusu arap toplumsal söylemınde duygu analızının incelenmesı
SALAM ALI SALOOM AL HAMADANI
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Prof. Dr. HAYRİ SEVER
- Human presence detection in emergency situations using deep learning based audio-visual systems
Derin öğrenme tabanlı işitsel-görsel sistemler ile tehlike durumunda insan tespiti
İZLEN GENECİ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilişsel Bilim Ana Bilim Dalı (disiplinlerarası)
PROF. DR. BANU GÜNEL KILIÇ
PROF. DR. HÜSEYİN CEM BOZŞAHİN
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE