A multi-modal emotion-aware conversational framework for immersive virtual mental health support
Duygu farkındalığına sahip çoklu modlu konuşma çerçevesi ile sürükleyici sanal ruh sağlığı desteği
- Tez No: 1023294
- Danışmanlar: DOÇ. DR. ADİB HABBAL, PROF. DR. MUSTAFA ALİ ABUZARİDA, PROF. DR. AMMAR MOHAMMED ALİ AL-QADASI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Karabük Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Üniversiteye geçi¸s süreci, özellikle birinci sınıf ö˘grencilerinde artan stres, kaygı ve uyum güçlükleriyle sıklıkla ili¸skilidir; buna kar¸sın zamanında ruh sa˘glı˘gı deste˘gine eri ¸sim, damgalanma ve sınırlı kaynaklar nedeniyle kısıtlı kalmaktadır. Bu tez, birinci sı nıf ö˘grencilerine yönelik, ö˘grenci-merkezli ve duygu-farkındalıklı bedenselle¸stirilmi¸s (embodied) bir sanal ruh sa˘glı˘gı asistanının metaverse tabanlı sürükleyici bir ortamda tasarımını ve gerçekle¸stirimini sunmaktadır. Bu çalı¸smanın temel katkıları üç ba¸slık altında toplanmaktadır. Birincisi, gelenek sel metin tabanlı sohbet yakla¸sımlarının ötesine geçerek do˘gal ve konu¸sma temelli etki le¸simi mümkün kılan, Baymax esinli bedenselle¸stirilmi¸s bir ajan içeren Unity tabanlı bir metaverse prototipi geli¸stirilmi¸stir. ˙ Ikincisi, DistilBERT tabanlı duygu/duyarlılık (sentiment) modelinin yerel olarak (ONNX + Unity Sentis) çalı¸stırılmasıyla gerçek zamanlı duygu farkındalı˘gı sa˘glanmı¸s ve elde edilen duygusal ba˘glam, uyarlanabilir ve destekleyici yanıt üretimini yönlendirmek üzere kullanılmı¸stır. Üçüncüsü, kısa, kli nik olmayan ve empatik yanıtlar üretmek için yerel olarak da˘gıtılmı¸s bir büyük dil modeli (LLM) entegre edilmi¸s; böylece cihaz üzerinde çıkarım (on-device inference) sayesinde hassas konu¸sma içeri˘ginin dı¸s servislerle payla¸sımı en aza indirilmi¸stir. Bu katkıları do˘grulamak amacıyla tez, birinci sınıf stresörlerine dayalı (akademik baskı, sosyal izolasyon ve geçi¸s/uyum zorlukları) senaryo-tabanlı bir de˘gerlendirme protokolü tanımlamakta ve bedenselle¸stirme, duygu-farkındalı˘gı, etkile¸sim kipli˘gi ve ba˘glam yönetiminin etkile¸sim kalitesi ile yanıt verme performansına etkisini nicel ola rak incelemek için kontrollü sistem-seviyesi kar¸sıla¸stırmalar (ablation study) uygula maktadır. Sonuç olarak bu çalı¸sma, sürükleyici bir ortamda birinci sınıf ö˘grencilerine yönelik destekleyici etkile¸sim için bedenselle¸stirme, konu¸sma etkile¸simi ve duygu farkındalıklı yerel konu¸sma yapay zekâsını birle¸stiren uygulanabilir ve yöntemsel ola rak temellendirilmi¸s bir yakla¸sım ortaya koymaktadır
Özet (Çeviri)
First-year university students often experience elevated stress, anxiety, and adjustment difficulties during the transition to higher education, while access to timely mental he alth support remains constrained by stigma and limited resources. This thesis presents the design and implementation of a student-centered, emotion-aware embodied virtual mental health assistant within an immersive metaverse environment. The main contributions are threefold. First, the thesis develops a Unity-based me taverse prototype featuring a Baymax-inspired embodied agent that enables natural, speech-driven interaction rather than conventional text-only chat. Second, it integra tes real-time emotion awareness by deploying a DistilBERT sentiment model locally (ONNX + Unity Sentis) and using the resulting affective context to guide adaptive, supportive responses. Third, the system adopts locally deployed LLM-based dialogue generation to provide brief, non-clinical, empathetic responses while minimizing ex posure of sensitive conversational content through on-device inference. To validate these contributions, the thesis defines a scenario-driven evaluation pro tocol grounded in common first-year stressors (academic pressure, social isolation, and transition challenges) and employs controlled system-level comparisons (ablation study) to quantify the effect of embodiment, emotion-awareness, interaction modality, demonstrates a feasible and methodologically grounded approach for combining em bodiment, speech interaction, and emotion-aware local conversational AI to support first-year students in an immersive environment
Benzer Tezler
- Metin verilerinde bağlam temelli açıklanabilir duygu analizi için hibrit derin öğrenme modeli geliştirme
Development of a hybrid deep learning model for context-aware explainable sentiment analysis in textual data
ERCAN ATAGÜN
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERDAR BİROĞUL
DR. ÖĞR. ÜYESİ GÜNAY TEMÜR
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Music emotion recognition: A multimodal machine learning approach
Müzik duygusu tanıma: Çok-modlu makine öğrenmesi yaklaşımı
CEMRE GÖKALP
Yüksek Lisans
İngilizce
2019
Bilim ve TeknolojiSabancı ÜniversitesiYönetim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ONUR DURAHİM
DOÇ. ABDULLAH DAŞCI
- Mimari tasarımda bedenlenmiş empatik ve estetik 'öteki oluş' deneyimi
Embodied empathic and aesthetic 'becoming other' in architectural design
IŞIL İZLEM YAZ
Yüksek Lisans
Türkçe
2024
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. ELMİRA AYŞE GÜR
- Kuantum hesaplama temelli optimizasyon yöntemleri ile büyük dil modellerinin eğitim ve çıkarım süreçlerinin iyileştirilmesi
Improving training and inference processes of large language models with quantum computing-based optimization methods
BETÜL CANDAN
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALİ SARIKAŞ