Engaging human-robot interaction with batch reinforcement learning
Kayıtlı veriden pekiştirmeli öğrenme yoluyla insan robot etkileşiminde kullanıcı ilgisinin eniyilenmesi
- Tez No: 648848
- Danışmanlar: PROF. DR. ENGİN ERZİN, PROF. DR. YÜCEL YEMEZ
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 116
Özet
Sosyal robot bilimi alanında yaygın bir sorun, insan-robot etkileşimi (İRE) sırasında kullanıcı ilgisinin sürdürülebilmesidir. İlgi seviyesi etkileşimin başarısını ölçmek için sıklıkla kullanılan bir ölçüttür, ve sosyal robotların tasarımında evrensel bir amaç olarak kabul edilir. Bu tez çalışmasında, İRE için bir robota ait sözel olmayan gülümseme ve kafa sallama jestlerini içeren arka kanal davranışlarını üreten bir model eğitmeyi hedefliyoruz. Çevrimdışı olarak bir davranış politikası öğrenmek üzere, İRE verilerini pekiştirmeli öğrenme için kullanan bir formülasyon öneriyoruz. Bu formülasyon, ödül olarak tanımladığı kullanıcı ilgisini enbüyükleyen bir arka kanal politikası bulmaya çalışır. Bu eniyileme probleminin çözümü için veri kümesin deki örneklerin gradyan güncellemesini kayıtlı veriden pekiştirmeli öğrenen üç farklı algoritma öneriyoruz. Bu algoritmaları değerlendirmek için bağımsız politika ile politika değerlendirme ve Bellman kalıntısı gibi çevrimdışı değerlendirme yöntemlerini kullanıyoruz. Tezde ayrıca, insansı bir yüz robotu kullanarak bir İRE kullanıcı deneyinin tasarımını yaptık. Bu etkileşim deneyi bir hikaye şekillendirme senaryosu altında, öğrenilen arka kanal politikasının kafa sallama ve gülümseme davranışlarını kontrol ettiği üç boyutlu bir yüz robotu ile gerçeklenir. Robotun sosyal davranışlarının katılımcılar üzerindeki etkisinin değerlendirilmesi öznel anket sonuçları ve etkileşimde hesaplanan ilgi seviyesi değerleriyle yapılmıştır. Kural tabanlı referans bir davranış politikası ile karşılaştırıldığında pekiştirmeli öğrenme politikasının daha kabul edilebilir olduğu, istatistiksel olarak anlamlı değerlendirme skorlarıyla gösterilmiştir. Bu tezde sunduğumuz çalışma, sosyal etkileşim robotlarında yalnızca bir tür robot davranışını ele alıyor olsa da, öncü bir çalışma olarak, İRE tasarımında kullanılabilecek alternatif metriklerin eniyilenmesini hedefleyen birçok başka robot davranış türünün otomasyonunun da yolunu açmaktadır.
Özet (Çeviri)
A common issue in the field of social robotics is the need to maintain user engagement during human-robot interaction (HRI). Engagement has been used as a typical metric to gauge the success of HRI, and hence it is regarded as a universal goal in the design of social robots. In this thesis, we train a generation model of non-verbal behaviors, smiles and nods, as backchannels in a robot to engage humans during HRI. We propose a novel batch reinforcement learning (batch-RL) formulation for the task, where we take advantage of recorded human-to-human interaction data to learn a policy offline. The formulation treats user engagement as the reward and constructs a backchannel policy that maximizes it. We propose three value-based off-policy batch-RL algorithms to address the problem, which differ in the manipulation of the samples in the dataset to make the gradient updates. To evaluate the policies trained with these algorithms, offline evaluation methods are used such as off-policy policy evaluation (OPE) and Bellman residual. A final work presented in the thesis is the design and execution of a user study on HRI with a backchanneling robot. The interaction is designed with an expressive 3d robotic head in a story-shaping interaction scenario, where the learned backchannel policy controls the nod and smile behaviors. Subjective questionnaires and engagement values extracted from user's social signals are used to assess the impact of robot's social behavior on the participants. The higher acceptability of the RL policy versus a baseline policy is indicated by the statistically significant differences in the evaluation scores. The research work presented in this thesis addresses only one class of robot behavior towards socially engaging robots. As a pioneering work, it paves way for automation of numerous other desired robot behaviors that target other metrics used in the design of human-robot interaction systems.
Benzer Tezler
- Design, control and evaluation of educational devices with series elastic actuation
Uygulamalı eğitim amaçlı seri elastik eyleyici tahrikli eğitim cihazlarının tasarımı ve denetimi
ATA OTARAN
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN PATOĞLU
- Backchannel prediction in human-robot interaction for engaging agents
İnsan-robot etkileşiminde ilgi düzeyinin iyileştirilmesine yönelik arka-kanal sinyal kestirimi
BEKİR BERKER TÜRKER
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ENGİN ERZİN
- Exploring opinions of corporate instructional designers on their professional development and training needs
Kurumsal öğretim tasarımcılarının mesleki gelişim ve eğitim ihtiyaçları konusundaki görüşlerinin araştırılması
NAZLI GÖKALP
Yüksek Lisans
İngilizce
2025
Eğitim ve ÖğretimOrta Doğu Teknik ÜniversitesiEğitim Programları ve Öğretimi Ana Bilim Dalı
DR. ELİF ÖZTÜRK
- Tedarik zinciri yönetiminde yapay zeka uygulamaları ve çözüm modelleri üzerine bir araştırma
A research about artificial intelligence applications in supply chain management
KEREM ŞAHİNBOY
Yüksek Lisans
Türkçe
2018
UlaşımNişantaşı Üniversitesiİşletme Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERKAN AKGÜN
- Jean Paul Sartre ve Gabriel Marcel'de insan sorunu
The human question in the philosophy of Jean Paul Sartre and Gabriel Marcel
NURSEL DOĞAN
Doktora
Türkçe
2020
FelsefeSivas Cumhuriyet ÜniversitesiFelsefe Ana Bilim Dalı
PROF. DR. YILDIZ KARAGÖZ YEKE