Modeling and monitoring of engagement and affect in human-computer interaction systems
İnsan-bilgisayar etkileşimi sistemlerinde ilgi seviyesi ve duygudurumun modellenmesi ve takibi
- Tez No: 728821
- Danışmanlar: PROF. DR. ENGİN ERZİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 58
Özet
Sosyal robotlar, yapay zeka destekli becerileriyle, insan-bilgisayar etkileşim (İBE) sistemlerinde yaygın olarak kullanılmaya başlamıştır. İlgi seviyesi ve duygu durumunun modellenmesi sosyal İBE için önemli problemlerdir. Bu tezde bu önemli problemlerin üç yönünü araştırıyoruz, bunlar ilgi seviyesi ve duygu durumunun İBE çerçevesinde takibi ve daha doğal İBE uygulamaları için duygusal konuşan kafa sentezidir. İlgi seviyesinin takibi ortak bir çalışma olan çok kipli insan robot etkileşiminde ilgi seviyesi veri setinin (eHRI veriseti) oluşturulması çerçevesinde çalışılmıştır. İkinci olarak gerçek zamanlı İBE ortamında duygu durumunun takibi incelenmiştir. Bir CNN-GRU mimarisi ses sinyalinden duygu durum özelliklerini tahmin etmek için oluşturulmuştur. Önerilen duygu durumu tahmini yapan model RECOLA ve CreativeIT veri setleriyle eğitilmiş, IEMOCAP veri setiyle test edilmiş- tir. Son olarak konuşma ve yüz noktalarının konuşan kafa sentezindeki katkıları incelenmiştir. Yüz noktaları tabanlı modellerin ses tabanlı modellere göre daha iyi performans gösterdiği gözlemlenmiştir. Bununla birlikte sesin yüz noktaları yanında ek bir girdi olarak kullanılması performansı daha da arttırmaktadır.
Özet (Çeviri)
Social robots are becoming widely used in human-computer interaction (HCI) systems with their artificial intelligence powered skills. Modeling and monitoring of engagement and affective state in the course of social HCI set important problems. In this thesis, we investigate three aspects of these important problems that are monitoring engagement and affective state in HCI settings, and affective talking head generation for more natural HCI applications. Monitoring of engagement has been studied as a part of the joint work on constructing multimodal database of engagement in human-robot interactions (eHRI Database). The second aspect is affective state monitoring in real-time HCI settings. We construct a CNN-GRU architecture to estimate affective state attributes from the speech signal. The proposed affective state estimation model has been trained with RECOLA and CreativeIT databases and tested on the IEMOCAP database. Lastly, we investigate contributions of speech and facial landmarks in talking head generation. We find that landmark based models have better performance compared to speech based models. However, speech can be used as an additional input along with landmarks to improve the performance further.
Benzer Tezler
- Modeling and analysis of distortion in milling of aerospace parts
Havacılık ve uzay parçalarının frezelenmesinde distorsiyonun modellenmesi ve analizi
WASEEM AKHTAR
Doktora
İngilizce
2023
Makine MühendisliğiKoç ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL LAZOĞLU
- Frezeyle tornalama operasyonunun geometrik, kuvvet ve ısıl modellenmesi
Geometric, force and thermal modeling of turn-milling operations
UMUT KARAGÜZEL
Doktora
Türkçe
2016
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA BAKKAL
PROF. DR. ERHAN BUDAK
- Individual response to organizational change: Creating facade of conformity its antecedants and effects on participating in decision making, work engagement, job involvement and intent to quit
Örgütsel değişime bireysel tepki: Maskeleme davranışı öncelleri ve karar almaya katılma, işe gönülden adanma, işle bütünleşme ve işten ayrılma niyeti üzerindeki etkisi
FATMA NUR ASLI ERİM
- Mentorluk deneyiminin kariyer gelişimine etkisi: Ameliyathane hemşireliği örneği
The effect of mentoring experience on career development: The example of operating room nursing
ÖZLEM AYTEKİN
Yüksek Lisans
Türkçe
2023
Sağlık YönetimiAnkara Yıldırım Beyazıt ÜniversitesiSağlık Bilimleri Ana Bilim Dalı
DOÇ. DR. NAZAN TORUN
- Reciprocal peer mentoring in pre-service elt practicum in terms of teaching concerns and teacher efficacy beliefs
Hizmet öncesi ingiliz dili eğitimi öğretmenlik uygulamasında öğretim kaygıları ve öğretmen öz yeterlik inançları açısından karşılıklı akran danışmanlığı
SEYİT AHMET ÇAPAN
Doktora
İngilizce
2017
Eğitim ve ÖğretimÇukurova Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
DOÇ. DR. HASAN BEDİR