Geri Dön

Affect and personality aware analysis of speech content for automatic estimation of depression severity

Depresyon şiddetinin otomatik tahmini için konuşma içeriğinin duygulanıma ve kişiliğe bağlı analizi

  1. Tez No: 842057
  2. Yazar: KAAN GÖNÇ
  3. Danışmanlar: DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 85

Özet

Depresyon tespiti, erken teşhis ve müdahale potansiyeli dolayısıyla bilimsel açıdan önemli ölçüde ilgi çekmektedir. Bu sebeple, bu tezde depresyon şiddetinin tahmini için yalnızca metin özniteliklerine bağlı kalan yeni bir yaklaşım önerilmektedir. Önerilen bu yaklaşım, dönüştürücü tabanlı bir yapı içerisinde duygulanım (duygu ve his) ve kişilik özniteliklerini farklı ancak birbirine bağlı kipler hâlinde entegre etmektedir. Bu tezin ana katkısı, farklı metin kiplerinden elde edilen bilgileri birleştirmeyi sağlayan maskeli ve çok kipli ortak çapraz dikkat füzyon yaklaşımıdır. Bu füzyon yaklaşımı, modelin sadece metin verileri içindeki gizli bağlamsal ipuçlarını ayırt etmesine değil, aynı zamanda modaliteler arasındaki karmaşık bağımlılıkları da anlamasına olanak tanımaktadır. Önerilen mimaride var olan bileşenler ile var olmayan bileşenler ayrıntılı olarak incelenmek üzere kapsamlı deneysel değerlendirmelere tabi tutulmaktadır. Bu değerlendirmeler, her kipin ayrı ayrı incelendiği tek kipli bir ortamda gerçekleştirilen deneyleri de içerir. Değerlendirmelerden elde edilen bulgular, önerilen mimarinin kendi kendine yeterli etkinliğini doğrulamaktadır. Bunlara ek olarak, bu tezde konuşma içeriği içindeki cümlelerin önemini inceleyerek belirli metin ipuçlarının katkısına dair değerli bilgiler sunulmaktadır. Aynı zamanda, önerilen yöntemin farklı depresyon şiddeti aralıkları için değerlendirmeleri yer almaktadır. Son olarak, önerilen yöntem farklı işitsel, görsel ve metinsel özellik kombinasyonları kullananan mevcut en ileri düzey çalışmalar ile karşılaştırılmaktadır. Sonuçlar, önerilen yöntemin depresyon şiddeti tahmininde umut verici sonuçlar elde ettiğini ve diğer yöntemleri geride bıraktığını göstermektedir.

Özet (Çeviri)

The detection of depression has gained a significant amount of scientific attention for its potential in early diagnosis and intervention. In light of this, we propose a novel approach that places exclusive emphasis on textual features for depression severity estimation. The proposed method seamlessly integrates affect (emotion and sentiment), and personality features as distinct yet interconnected modalities within a transformer-based architecture. Our key contribution lies in a masked multimodal joint cross-attention fusion, which adeptly combines the information gleaned from these different text modalities. This fusion approach empowers the model not only to discern subtle contextual cues within textual data but also to comprehend intricate interdependencies between the modalities. A comprehensive experimental evaluation is undertaken to meticulously assess the individual components comprising the proposed architecture, as well as extraneous ones that are not inherent to it. The evaluation additionally includes the assessments conducted in a unimodal setting where the impact of each modality is examined individually. The findings derived from these experiments substantiate the self-contained efficacy of our architecture. Furthermore, we explore the significance of individual sentences within speech content, offering valuable insights into the contribution of specific textual cues and we perform a segmented evaluation of the proposed method for different ranges of depression severity. Finally, we compare our method with existing state-of-the-art studies utilizing different combinations of auditory, visual, and textual features. The final results demonstrate that our method achieves promising results in depression severity estimation, outperforming the other methods.

Benzer Tezler

  1. Realisms and working women in the novels of Gaskell and Brontë

    Gaskell ve Brontë'nin romanlarında gerçekçilik ve çalışan kadınlar

    RANA KAHVECİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    İngiliz Dili ve EdebiyatıOrta Doğu Teknik Üniversitesi

    İngiliz Dili ve Edebiyatı Ana Bilim Dalı

    YRD. DOÇ. DR. MARGARET J. M. SÖNMEZ

  2. KOBİ'lerde rekabetçiliği etkileyen değişkenlerin analizi ve KOBİ rekabetçilik endeksi: Örme sektörü uygulaması

    Analysis of variables affecting competitiveness of SMEs and SME competitiveness index: Knitting industry application

    CANER TAÇOĞLU

    Doktora

    Türkçe

    Türkçe

    2019

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ CEMİL CEYLAN

  3. The Impact of listening classes on lerarners strategies in English language acquisition

    Dinleme derslerinin İngilizce dil ediniminde öğrenci stratejilerine etkisi

    İBRAHİM UZUN

    Yüksek Lisans

    İngilizce

    İngilizce

    1998

    Eğitim ve ÖğretimTrakya Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    DOÇ. DR. BİRSEN TÜTÜNİŞ

  4. Authorial stance in academic english: native and non-native academic speaker writers' use of stance devices (modal verbs) in research articles

    Akademik İngilizcede yazar duruşu: Amerikalı, Türk ve İspanyol akademisyenlerin makalelerindeki kiplik

    HÜSEYİN KAFES

    Doktora

    İngilizce

    İngilizce

    2009

    İngiliz Dili ve EdebiyatıAnadolu Üniversitesi

    Eğitim Bilimleri Bölümü

    DOÇ. DR. ÜMİT DENİZ TURAN

  5. Avukatların kişilik özelliklerinin mesleki tükenmişlikleri üzerindeki etkisinin belirlenmesi (Adana Barosu örneği)

    Determination of the effect of personality traits of lawyers on job burnout (Sample of Adana Bar Association)

    ARZU BİLGE TANAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    PsikolojiÇağ Üniversitesi

    Psikoloji Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ERDİNÇ BALLI