Affect and personality aware analysis of speech content for automatic estimation of depression severity
Depresyon şiddetinin otomatik tahmini için konuşma içeriğinin duygulanıma ve kişiliğe bağlı analizi
- Tez No: 842057
- Danışmanlar: DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 85
Özet
Depresyon tespiti, erken teşhis ve müdahale potansiyeli dolayısıyla bilimsel açıdan önemli ölçüde ilgi çekmektedir. Bu sebeple, bu tezde depresyon şiddetinin tahmini için yalnızca metin özniteliklerine bağlı kalan yeni bir yaklaşım önerilmektedir. Önerilen bu yaklaşım, dönüştürücü tabanlı bir yapı içerisinde duygulanım (duygu ve his) ve kişilik özniteliklerini farklı ancak birbirine bağlı kipler hâlinde entegre etmektedir. Bu tezin ana katkısı, farklı metin kiplerinden elde edilen bilgileri birleştirmeyi sağlayan maskeli ve çok kipli ortak çapraz dikkat füzyon yaklaşımıdır. Bu füzyon yaklaşımı, modelin sadece metin verileri içindeki gizli bağlamsal ipuçlarını ayırt etmesine değil, aynı zamanda modaliteler arasındaki karmaşık bağımlılıkları da anlamasına olanak tanımaktadır. Önerilen mimaride var olan bileşenler ile var olmayan bileşenler ayrıntılı olarak incelenmek üzere kapsamlı deneysel değerlendirmelere tabi tutulmaktadır. Bu değerlendirmeler, her kipin ayrı ayrı incelendiği tek kipli bir ortamda gerçekleştirilen deneyleri de içerir. Değerlendirmelerden elde edilen bulgular, önerilen mimarinin kendi kendine yeterli etkinliğini doğrulamaktadır. Bunlara ek olarak, bu tezde konuşma içeriği içindeki cümlelerin önemini inceleyerek belirli metin ipuçlarının katkısına dair değerli bilgiler sunulmaktadır. Aynı zamanda, önerilen yöntemin farklı depresyon şiddeti aralıkları için değerlendirmeleri yer almaktadır. Son olarak, önerilen yöntem farklı işitsel, görsel ve metinsel özellik kombinasyonları kullananan mevcut en ileri düzey çalışmalar ile karşılaştırılmaktadır. Sonuçlar, önerilen yöntemin depresyon şiddeti tahmininde umut verici sonuçlar elde ettiğini ve diğer yöntemleri geride bıraktığını göstermektedir.
Özet (Çeviri)
The detection of depression has gained a significant amount of scientific attention for its potential in early diagnosis and intervention. In light of this, we propose a novel approach that places exclusive emphasis on textual features for depression severity estimation. The proposed method seamlessly integrates affect (emotion and sentiment), and personality features as distinct yet interconnected modalities within a transformer-based architecture. Our key contribution lies in a masked multimodal joint cross-attention fusion, which adeptly combines the information gleaned from these different text modalities. This fusion approach empowers the model not only to discern subtle contextual cues within textual data but also to comprehend intricate interdependencies between the modalities. A comprehensive experimental evaluation is undertaken to meticulously assess the individual components comprising the proposed architecture, as well as extraneous ones that are not inherent to it. The evaluation additionally includes the assessments conducted in a unimodal setting where the impact of each modality is examined individually. The findings derived from these experiments substantiate the self-contained efficacy of our architecture. Furthermore, we explore the significance of individual sentences within speech content, offering valuable insights into the contribution of specific textual cues and we perform a segmented evaluation of the proposed method for different ranges of depression severity. Finally, we compare our method with existing state-of-the-art studies utilizing different combinations of auditory, visual, and textual features. The final results demonstrate that our method achieves promising results in depression severity estimation, outperforming the other methods.
Benzer Tezler
- Realisms and working women in the novels of Gaskell and Brontë
Gaskell ve Brontë'nin romanlarında gerçekçilik ve çalışan kadınlar
RANA KAHVECİ
Yüksek Lisans
İngilizce
2014
İngiliz Dili ve EdebiyatıOrta Doğu Teknik Üniversitesiİngiliz Dili ve Edebiyatı Ana Bilim Dalı
YRD. DOÇ. DR. MARGARET J. M. SÖNMEZ
- KOBİ'lerde rekabetçiliği etkileyen değişkenlerin analizi ve KOBİ rekabetçilik endeksi: Örme sektörü uygulaması
Analysis of variables affecting competitiveness of SMEs and SME competitiveness index: Knitting industry application
CANER TAÇOĞLU
Doktora
Türkçe
2019
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CEMİL CEYLAN
- The Impact of listening classes on lerarners strategies in English language acquisition
Dinleme derslerinin İngilizce dil ediniminde öğrenci stratejilerine etkisi
İBRAHİM UZUN
Yüksek Lisans
İngilizce
1998
Eğitim ve ÖğretimTrakya ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DOÇ. DR. BİRSEN TÜTÜNİŞ
- Authorial stance in academic english: native and non-native academic speaker writers' use of stance devices (modal verbs) in research articles
Akademik İngilizcede yazar duruşu: Amerikalı, Türk ve İspanyol akademisyenlerin makalelerindeki kiplik
HÜSEYİN KAFES
Doktora
İngilizce
2009
İngiliz Dili ve EdebiyatıAnadolu ÜniversitesiEğitim Bilimleri Bölümü
DOÇ. DR. ÜMİT DENİZ TURAN
- Avukatların kişilik özelliklerinin mesleki tükenmişlikleri üzerindeki etkisinin belirlenmesi (Adana Barosu örneği)
Determination of the effect of personality traits of lawyers on job burnout (Sample of Adana Bar Association)
ARZU BİLGE TANAR