Modeling and monitoring of engagement and affect in human-computer interaction systems
İnsan-bilgisayar etkileşimi sistemlerinde ilgi seviyesi ve duygudurumun modellenmesi ve takibi
- Tez No: 728821
- Danışmanlar: PROF. DR. ENGİN ERZİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Sosyal robotlar, yapay zeka destekli becerileriyle, insan-bilgisayar etkileşim (İBE) sistemlerinde yaygın olarak kullanılmaya başlamıştır. İlgi seviyesi ve duygu durumunun modellenmesi sosyal İBE için önemli problemlerdir. Bu tezde bu önemli problemlerin üç yönünü araştırıyoruz, bunlar ilgi seviyesi ve duygu durumunun İBE çerçevesinde takibi ve daha doğal İBE uygulamaları için duygusal konuşan kafa sentezidir. İlgi seviyesinin takibi ortak bir çalışma olan çok kipli insan robot etkileşiminde ilgi seviyesi veri setinin (eHRI veriseti) oluşturulması çerçevesinde çalışılmıştır. İkinci olarak gerçek zamanlı İBE ortamında duygu durumunun takibi incelenmiştir. Bir CNN-GRU mimarisi ses sinyalinden duygu durum özelliklerini tahmin etmek için oluşturulmuştur. Önerilen duygu durumu tahmini yapan model RECOLA ve CreativeIT veri setleriyle eğitilmiş, IEMOCAP veri setiyle test edilmiş- tir. Son olarak konuşma ve yüz noktalarının konuşan kafa sentezindeki katkıları incelenmiştir. Yüz noktaları tabanlı modellerin ses tabanlı modellere göre daha iyi performans gösterdiği gözlemlenmiştir. Bununla birlikte sesin yüz noktaları yanında ek bir girdi olarak kullanılması performansı daha da arttırmaktadır.
Özet (Çeviri)
Social robots are becoming widely used in human-computer interaction (HCI) systems with their artificial intelligence powered skills. Modeling and monitoring of engagement and affective state in the course of social HCI set important problems. In this thesis, we investigate three aspects of these important problems that are monitoring engagement and affective state in HCI settings, and affective talking head generation for more natural HCI applications. Monitoring of engagement has been studied as a part of the joint work on constructing multimodal database of engagement in human-robot interactions (eHRI Database). The second aspect is affective state monitoring in real-time HCI settings. We construct a CNN-GRU architecture to estimate affective state attributes from the speech signal. The proposed affective state estimation model has been trained with RECOLA and CreativeIT databases and tested on the IEMOCAP database. Lastly, we investigate contributions of speech and facial landmarks in talking head generation. We find that landmark based models have better performance compared to speech based models. However, speech can be used as an additional input along with landmarks to improve the performance further.
Benzer Tezler
- Modeling and analysis of distortion in milling of aerospace parts
Havacılık ve uzay parçalarının frezelenmesinde distorsiyonun modellenmesi ve analizi
WASEEM AKHTAR
Doktora
İngilizce
2023
Makine MühendisliğiKoç ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL LAZOĞLU
- Karanlık liderlik algısının sessiz istifa üzerine etkisi ve kendini işe verememenin(presenteizm) aracılık rolünün incelenmesi: Sağlık hizmetlerinde çalışanlar bağlamında bir araştırma
The effect of dark leadership perception on quiet quitting and the mediating role of lack of engagement: A study i̇n the context of healthcare workers
MELİKE ÇIRAK
- Frezeyle tornalama operasyonunun geometrik, kuvvet ve ısıl modellenmesi
Geometric, force and thermal modeling of turn-milling operations
UMUT KARAGÜZEL
Doktora
Türkçe
2016
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA BAKKAL
PROF. DR. ERHAN BUDAK
- Killi ortamda üstyapı etkileşimli sayısal modelde kazıklı yayılı temellerin optimizasyonu
Optimization of piled raft foundations with superstructure interaction in a clayey soil using numerical modeling
DAMLA KILİÇ
Yüksek Lisans
Türkçe
2025
İnşaat MühendisliğiSakarya Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. SEDAT SERT
- Quality management as a cost reduction in manufacturing in terms of sustainability
Sürdürülebilirlik açısından üretimde maliyet azaltma için kalite yönetimi
NOURHAN ABO ALI
Yüksek Lisans
İngilizce
2026
Mühendislik Bilimleriİstanbul Gedik ÜniversitesiMühendislik Yönetimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUĞBAY BURÇİN GÜMÜŞ