Speech driven backchannel generation in human-robot interaction with conservative Q-learning
İnsan-robot etkileşiminde korunumlu Q-öğrenme ile konuşmaya dayalı arka kanal üretimi
- Tez No: 730986
- Danışmanlar: PROF. DR. YÜCEL YEMEZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
- Sayfa Sayısı: 59
Özet
İnsan-aracı etkileşiminde kullanıcı ilgisinin nasıl canlı tutulabileceği, üzerinde hala çalışılmakta olan açık bir araştırma konusudur. Bu tezde, bu amaca yönelik olarak, konuşma güdümlü bir gülme arka kanalı üretme modeli önerilmektedir. Problemi, durumu vektörünün konuşma sinyaliyle, ödül işlevinin ise kullanıcı ilgisiyle temsil edildiği, böylelikle kullanıcı ilgisinin en büyüklendiği bir Markov karar süreci olarak formüle ediyoruz. Çevrimiçi eğitimin insan-aracı etkileşimi için sıklıkla uygulanamaz olması nedeniyle, insandan insana ikili etkileşime ilişkin video kayıtlarından oluşan mevcut veri kümelerini, arka kanal üretme görevine yönelik olarak bir aracıyı eğitmek için kullanıyoruz. Bu problemi, eğitim sırasındaki dağılım kayması sorununu azaltmak için Q değerlerinin fazla tahminini azaltan bir yöntem olan korunumlu Q-öğrenmeye (CQL) dayalı bir aktör-eleştirmen yöntemi kullanılarak ele alınmıştır. Önerilen CQL tabanlı yaklaşım, gülme üretme görevi için objektif yöntemlerle IEMOCAP veri seti üzerinde değerlendirilmiştir. Önceki politika dışı Q-öğrenme yaklaşımlarıyla karşılaştırıldığında, gülme üretim hızı açısından veri seti ile uyum iyileştirildi. Ek olarak, öğrenilen politikanın başarısını, beklenen kullanıcı ilgisini politika dışı politika değerlendirme teknikleriyle tahmin ederek değerlendirdik.
Özet (Çeviri)
Sustaining engagement in human-agent interaction remains an open problem. The purpose of this thesis is to propose a model for maintaining engagement during human-agent interaction through speech-driven backchannel generation. The problem is modeled as a Markov decision process, with the speech signal representing the state and the reward of maximizing human engagement. Due to the fact that online training is frequently impracticable for human-agent interaction, existing datasets on human-to-human dyadic interaction are employed to train an agent for the backchannel generation task. The problem has been addressed using an actor-critic method based on conservative Q-learning (CQL), which reduces the distributional shift problem during training by suppressing Q-value overestimation. The suggested CQL-based approach is objectively evaluated for the laughter generating task on the IEMOCAP dataset. When compared to previous off-policy Q-learning approaches, compliance with the dataset is improved in terms of laugh production rate. Additionally, the learned policy's success is demonstrated by estimating expected engagement with off-policy policy evaluation techniques.
Benzer Tezler
- Speech driven upper body gesture analysis and synthesis
Konuşma ile sürülen üst beden hareketlerinin analizi ve sentezi
SERKAN ÖZKUL
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YÜCEL YEMEZ
- Domain adaptation for speech-driven affective facial features synthesis
Başlık çevirisi yok
RIZWAN SADIQ
Doktora
İngilizce
2020
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Prof. Dr. ENGİN ERZİN
- Automated speech driven lipsynch facial animation for Turkish
Türkçe ses eşzamanlı yapay yüz canlandırma
ZEKİ MELEK
Yüksek Lisans
İngilizce
1999
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. LALE AKARUN
- Real-time speech driven gesture animation
Gerçek zamanlı konuşma sürümlü jest animasyonu
KENAN KASARCI
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. YÜCEL YEMEZ
DOÇ. ENGİN ERZİN
- Multimodal analysis and synthesis of affective human body gestures from speech prosody
Konuşma bürününden duygu yüklü insan beden jestleri çok kipli analizi ve sentezi
ELİF BOZKURT
Doktora
İngilizce
2016
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ENGİN ERZİN