Social behavior learning for an assistive companion robot
Yardımcı robotlar için sosyal davranış öğrenimi
- Tez No: 828364
- Danışmanlar: PROF. DR. HATİCE KÖSE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 150
Özet
Robotların sağlık, eğitim, eğlence ve kamusal alanlar gibi insan merkezli ortamlarda varlık göstermeye başlamasıyla beraber, insan-robot etkileşimi çalışmaları çevreleriyle doğal bir şekilde etkileşim kurabilecek robotların tasarımına odaklanmıştır. Bu alanda yapılan araştırmalar sonucunda, robotların insanlarla etkileşimlerinin daha doğal bir akışta gerçekleşebilmesi için bu etkileşime sosyal ve duygusal nitelikler katılması gerektiği ortaya çıkmıştır. Sosyal ve duygusal durumlarını gösteren ipuçları kullanarak insanlarla birebir ilişki kurabilen ve zaman içerisinde bu ilişkiyi sürdürebilen robotlar tasarlamak oldukça zorlu bir süreçtir. Bu durum robotların bir nevi sosyal farkındalık göstermesini gerektirir, yani, robotun karşısındaki kişinin duygudurumunu tespit edip onun tutum ve davranışlarını algılaması ve kendi duygudurumunu buna göre ayarlayıp buna uygun duygusal davranışları sergilemesi anlamına gelir. Robot, karşısındaki insanın duygudurumunu yüz ifadelerinden, kullandığı sesli ipuçlarından ve vücut duruşundan tespit edip onun davranış kalıplarını yorumlayabilmeli ve gerektiği durumlarda bu kişiye destek olurken sosyal ve duygusal ipuçları kullanabilmelidir. Kismet, Nao ve Pepper gibi bazı robotlar karşısındaki insanın duygudurumunu tespit ederek karşılığında bazı basit duyguları temsil edebilmektedir. Ancak bu robotlar duygusal bir karaktere veya belli bir duygudurum modeline sahip olmaksızın, etkileşimin sosyal bağlamından bağımsız olarak insanın ifadelerini birebir taklit ederler. İnsanların davranışlarını içsel durumlarının bir aynası olarak ele alıp bunu taklit etmek yeterli değildir, robotların sosyal varlıklar olarak kabul edilebilmesi için, insanın ruh halini, duygularını ve etkileşimin sosyal bağlamını yorumlayabilme yeteneğine sahip olmaları gerekir. Bunun için de robotun belli ölçüde duygusal bir mimariye sahip olması ve duygudurumlarını buna göre dışavurması gerekir. Bu da robotun, insanın duygudurumu algılaması, anlaması, yorumlaması ve buna dayanarak kendi duygudurum modelini oluşturması ve bu modele bağlı olarak duygusal davranışlar üretmesi demektedir ki, bu da empatinin en genel tanımlarından biridir. Empati, bireyler arası karşılıklı kişisel ilişkilerin incelenmesinde önemli bir odak noktasıdır, bu nedenle robotlar ve insanlar arasındaki sosyal etkileşimin ana unsurlarından biri olarak ele alınması gerekmektedir. İnsanlar sadece diğer insanlar için değil, aynı zamanda kurgusal karakterler ve robotlar için de empati hissetme yeteneğine sahiptir. Ancak buna karşılık robotlar, henüz herhangi bir empatik davranış sergileme becerisine sahip değildir. Bu tez çalışmasının amacı, yardımcı sosyal robotlar için bir duygudurum ve davranış modelinin tasarlanması ve bu modelin robotik bir platform üzerinde uygulanmasıdır. Önerilen model, robotun farklı sensörlerden gelen çok kipli verileri işleyerek karşısındaki insanın duygusal durumunu yorumlayabilmesi ve bu insanın duygudurumundan ve sosyal etkileşim bağlamından gelen verileri sentezleyerek tutarlı ve yerinde duygusal davranışlar üretebilmesi için tasarlanmıştır. Bu tez çalışması aşağıdaki soruları cevaplandırabilmek amacıyla kurgulanmıştır: - Bir robot mutluluk, üzüntü, vb. temel duyguları doğru bir şekilde temsil edebilir mi? Etkileşimde bulunduğu insan, robotun sergilediği bu duyguları doğru bir şekilde tanımlayıp yorumlayabilir mi? - Sosyal bir robotun, karşısındaki kişinin farklı duygusal durumlarını ve davranışlarını tespit edip yorumlayabilmesi için nasıl bir yol izlenmelidir? - Yardımcı robotlar için yapay bir duygu mekanizması nasıl modellenmelidir? Robot ile insan arasında doğal bir sosyal etkileşim kurulmasını sağlamak için bu mekanizma bir sosyal robota nasıl entegre edilebilir? - Duygusal ve sosyal bir robotun etkileşim esnasında hangi duygusal davranışı ifade edeceğini öğrenmesi için hangi öğrenme tekniklerini kullanmak gerekir? - Yapay bir duygu mekanizmasına ve temel duyguları ifade edebilme yeteneğine sahip sosyal bir robot, yardım üzerine kurgulanmış bir etkileşim senaryosunda kişinin etkileşimden sağladığı kazancı artırabilir mi? Bu soruların cevaplarını araştırmak ve yardımcı sosyal robotun duygudurum modelini tasarlamak amacıyla, iki araştırma projesi kapsamında farklı gelişim profillerinden çocuklarla ve iki robotla, Pepper ve Kaspar, kullanıcı çalışmaları yapılmıştır. Bu çalışmalar esnasında farklı sensörler kullanılarak robotla etkileşime giren kişilerden yüz verisi, fizyolojik veri ve etkileşime özel veriler toplanmıştır. İlk proje olan RoboRehab'in amacı klinik ortamda işitme engelli çocuklara işitsel algı testlerinde destek olmak için kullanılacak duygusal ve sosyal bir robotik platform tasarlamaktır. Odyoloji kliniklerinde, cocukların işitme düzeylerini tespit etmek ve kullandıkları işitme cihazlarını / koklear implantlarını buna göre ayarlamak için çeşitli testler uygulanmaktadır. Önceki çalışmalarda odyologlar, hastaneye konsültasyona gelen çocukların genellikle stresli ve olumsuz bir ruh halinde olduğunu gözlemlemişlerdir. Bu durumun çocukların işitsel algı testindeki performanslarını olumsuz etkilediğini ve test esnasında çocukların işbirliğini önemli ölçüde azalttığını tespit etmişlerdir. Bu proje kapsamında çocukların duygularını tespit edebilmek için makine öğrenmesi tabanlı duygu tanıma yaklaşımları kullanılmıştır. Ayrıca odyoloji testleri sırasında çocuğun stresini azaltmak ve olumsuz ruh halinden kurtulmasını sağlamak adına robot için duygusal davranışa dayalı bir geri bildirim mekanizması tasarlanmıştır. Bu sayede çocukların test performanslarının iyileştirilmesi ve odyologlarla yaptıkları klinik çalışmalarda motivasyonlarının yükselmesi hedeflenmiştir. RoboRehab projesi kapsamında yürütülen etkileşim çalışmalarında, işitsel algı testlerinde çocuklara yardımcı olması için bir tablet oyunu ve sosyal robot Pepper kullanılmıştır. Robot, tablet uygulaması ve standart yönteme dayalı farklı test kurulumlarının etkileri nicel ve nitel olarak incelenmiştir. Çocukların duygudurumlarının yüz ifadelerine ve fizyolojik sinyallerine (kan hacmi nabzı, cilt sıcaklığı ve cilt iletkenliği) yansımasını analiz etmek ve sınıflandırmak için geleneksel makine öğrenimi teknikleri ve derin öğrenme yaklaşımları test edilmiştir.“Otizmli çocuklar için bir müdahale aracı olarak sosyal yardımcı robotlarda duygusal döngü (EMBOA)”başlıklı ikinci araştırma projesinin amacı, otizmli çocukların rehabilitasyon sürecinde kullanılan sosyal robotları ve duyguya dayalı bilişim teknolojilerini birleştirmektir. Otizm spektrum bozukluğu (OSB) olan çocukların, rutin etkileşimlerinde sergiledikleri sosyal ve duygusal becerilerin sınırlı olduğu bilinmektedir. Alanyazında yer alan çalışmalar sosyal robotların, otizmli çocukların sosyal ve duygusal becerilerini geliştirmelerine ve sosyal engellerin üstesinden gelebilmelerine yardımcı olmak, çocukları etraflarındaki bireylerle etkileşimde bulunmaya teşvik etmek için kullanıldığı ve bu çalışmalardan umut verici sonuçlar elde edildiği görülmüştür. Bu sonuçlardan esinlenilerek, proje ortağı olan 4 ülkede (Polonya, Makedonya, İngiltere ve Türkiye) 65'ten fazla OSB'li çocuk ve Kaspar robot ile kullanıcı çalışmaları gerçekleştirilmiştir. Zaman içine yayılan ve birden fazla oturumda tekrarlanan bu çalışmalar esnasında çocuklardan çok kipli etkileşim verileri (yüz verisi, fizyolojik sinyaller ve etkileşime özel ölçümler) toplanmıştır. Bu tez çalışmasında, RoboRehab ve EMBOA projeleri sayesinde toplanan verilere ve bulgulara dayalı olarak yardımcı bir robot için duygusal anlayış mekanizması modellenmiş, ve robotun hangi duygusal davranışı ne zaman ne şiddette sergilemesi gerektiği belirlenmiştir. Önerilen duygusal davranış modeli: (1) Etkileşimdeki insanın duygusal durumlarını tespit etmek için çok kanallı uyaranları, yani kamera ile tespit edilen yüz verilerini, fizyolojik bileklik ile alınan sinyalleri işler; (2) etkileşim bağlamına uygun ve yerinde duygusal sosyal davranışlar oluşturur; (3) robotun duygusal ifadelerinin yoğunluğunu, etkileşimde olduğu insanın tercihlerine göre kişiselleştirir ve ayarlar. Çalışma esnasında karşılaşılan zorluklara, en başta Covid-19 pandemisi olmak üzere, ve kabul edilen kısıtlamalara rağmen, yukarıda bahsi geçen araştırma soruları detaylı olarak incelenmiş ve cevapları aşağıda açıklanmıştır. RoboRehab projesi kapsamında yürütülen kullanıcı çalışmalarında, Pepper robotun duygusal davranışlar sergileyebildiği ve işitme engelli çocukların bunları doğru bir şekilde tanımlayıp yorumlayabildiği görülmüştür. Ayrıca, RoboRehab projesinde elde edilen sonuçlar, duygusal davranışlar sergileyen robotun çocuklarda bir takım duygusal değişiklikler tetiklediğini ve fizyolojik sinyallerinde farklılığa neden olduğunu göstermiştir. Buna bağlı olarak etkileşim esnasında çocuklardan toplanan bu sinyaller, makine öğrenmesi ve derin öğrenme yaklaşımları ile çocukların duygularını ayırt etmek için kullanılmıştır. Öte yandan, EMBOA projesi kapsamında otizmli çocuklarla yapılan çalışmalarda elde edilen sonuçlar, çok kipli davranışsal ölçümlere; yani yüz eylem birimlerine, fizyolojik sinyallere, etkileşime özgü ölçümlere; dayalı bir yaklaşımın çocukların duygusal durumu anlamak ve modellemek için kullanılabileceğini göstermiştir. Bu bulgulara dayanarak tez çalışmasında sosyal bir robot için yapay duygudurum mekanizması modellenmiş ve farklı modelleme yaklaşımları sunulmuştur. Bunlardan ilki, duyguların iki boyutlu değerlik ve uyarılma gösterimine dayanan basit bir doğrusal duygulanım modelidir. İkincisi, robotun karşındaki insanın yüz verilerine dayanarak duygusal durumunu tespit ettiği ve kendi duygusal davranışlarını buna göre uyarlayarak arkadaşının olumsuz ruh halini iyileştirmek için davranışsal bir strateji geliştirdiği bir modeldir. Son olarak robotun, karşısındaki insanın tercihlerini tahmin etmesi ve buna göre duygusal davranışlarının yoğunluğunu düzenlemesi için bir davranış modeli sunulmuştur. Sosyal robotun hangi durumda nasıl davranması gerektiği üzerine 500 kullanıcı ile yapılan bir anket çalışması sonucunda toplanan veriler incelenmiştir. Deneysel sonuçlar, tasarlanan duygu modeli ile bir sosyal robotun duygusal davranışlarını karşısındaki insanın tercihlerine ve ihtiyaçlarına göre uyarlamasının mümkün olduğunu ve bu sayede aralarındaki etkileşimin daha doğal ilerlediğini göstermiştir. Gelişimsel olarak farklılık gösteren (tipik gelişim gösteren, işitme engelli, otizmli) çocuklar ile yapılan RoboRehab ve EMBOA çalışmaları sonucunda, çocukların profillerinden bağımsız olarak sosyal robota daha fazla ilgi gösterdikleri ve onunla daha fazla ilgilendikleri görülmüştür. Objektif ölçümlere dayalı değerlendirmeler her ne kadar istatistiksel açıdan anlamlı bir farklılığa işaret etmese de odyologların, terapistlerin, ve pedagogların sübjektif değerlendirmeleri sunulan hipotezle uyumluluk göstermektedir. Ayrıca, çocuklar ve aileleri ile yapılan kişisel bildirime dayalı anketlerde, çocukların duygusal robotu zeki ve komik bir sosyal varlık olarak kabul ettikleri görülmüştür. Bu sonuçlar, etkileşimde olduğu insanın tercihlerine göre kişiselleştirilmiş duygusal davranışlara sahip bir sosyal robotun, yardıma dayalı bir etkileşim senaryosunda etkileşim kazancını iyileştireceğini kanıtlamaktadır.
Özet (Çeviri)
Designing robots having the ability to build and maintain interpersonal relationship with humans by exchanging social and emotional cues has attracted much attention recently because robots are vastly in use in a wide variety of places with a diverse range of tasks from healthcare to edutainment industry. In order to interact with humans in a natural way, emotion recognition and expressive behavior generation are crucial for these robots to act in a socially aware manner. This requires the ability to recognize the affective states, actions and intentions of their human companions. The robot should be able to interpret the social cues and its human companion's behavioral patterns to be able to generate assistive social behaviors in return. There are several popularly known robotic platforms such as Kismet, Nao and Pepper which are able to recognize its human partner's emotional state based on facial expressions, vocal cues and body postures and express simple human emotions. However these robots do not have an emotional character or an affective state, they are just capable to mirror the human's expressions independently from the social context of the interaction. For the robots to be accepted as social entities, they should be endowed with the capability to interpret the human's mood as well as his/her emotions and the social context of the interaction. In order to achieve this purpose, it is not enough to treat expressive behaviors of humans as only a mirror of their internal state. Therefore, it is crucial to incorporate a generative account of expressive behavior into an emotional architecture. This requires perceiving and understanding others' affective states and behaving accordingly, it corresponds to the most generic definition of empathy. Empathy is a focal point in the study of interpersonal relationships therefore it should also be considered as one of the major elements in the social interaction between the robots and humans. Humans have the ability to feel empathy not only for other humans but also for fictional characters and robots. But the robots are not able yet to display any empathic behavior in return. The motivation of this thesis study is to design and implement a computational emotion and behavior model for a companion robot. The proposed model is designed to process multi-channel stimuli in order to interpret the affective state of its human companion and to generate in-situ affective social behaviors based on the processed information coming from the human companion and the environment, that is the social context of the interaction. This dissertation attempts to explore the following research objectives: - Would the robot be able to display basic emotions? Could the human companion identify correctly the emotions displayed by the robot? - How could a social robot infer and interpret its companion's emotional states? - How can we computationally model an artificial emotional mechanism and implement it on a social robot to provide a natural social interaction? - Which learning techniques should we use for the affective robot assistant to learn which emotional behavior to express during the interaction? - Could a social robot designed with emotional understanding and expression foster the interaction gain in a HRI scenario based on assistance? In order to explore the answers of these research questions, user studies with children having different developmental profiles and two affective robots, Pepper and Kaspar, were conducted in coordination with two research projects. The first project, titled as RoboRehab, we aimed to use an affective social robot to support the auditory tests of children with hearing disabilities in clinical settings. During their hospital visits, children take several tests to determine the level of their hearing and to adjust their hearing aid or cochlear implant, if necessary. The audiologists mention that the children usually get stressed and tend to be in a negative mood, when they are in the hospital during their consultation. This affects children's' performance in the auditory perception tests negatively, and their cooperation decrease significantly. In Roborehab, we used machine learning-based emotion recognition approaches to detect the children's emotional state and adjust the robot's actions accordingly. We designed a feedback mechanism to reduce the stress of children and help the children to improve their mood during the audiometry tests. We used a socially assistive humanoid robot Pepper, enhanced with emotion recognition, and a tablet interface, to support children in these tests. We investigated the quantitative and qualitative effects of the different test setups involving a robot, a tablet app and the conventional method. We employed traditional machine learning techniques and deep learning approaches to analyze and classify the physiological data (blood volume pulse, skin temperature, and skin conductance) of children collected by E4 smart wristband. The second project, entitled as“Affective loop in Socially Assistive Robotics as an intervention tool for children with autism (EMBOA)”, was a research project with the aim of combining affective computing technologies with the social robot intervention in children with autism spectrum disorder (ASD). Children with ASD are known to display limited social and emotional skills in their routine interactions. Inspired by the promising results presented in the social robotics field, we aimed to investigate affective technologies with a social robot, Kaspar, to assist children with ASD in the development of their social and emotional skills, help them to overcome social obstacles and make the children more involved in their interactions. Interaction studies with Kaspar were conducted in 4 collaborating country; Poland, North Macedonia, United Kingdom and Turkey; with more than 65 children with ASD and interaction data collection by different sensor modalities (visual, audio, physiological and interaction-specific data) was performed within a longitudinal study design. In this dissertation, a computational model for emotional understanding and emotional behavior generation and modulation was designed and implemented for a companion robot based on the collected data and findings through The RoboRehab and EMBOA projects. The presented models were designed: (1) to process multi-channel stimuli, i.e. vision-based facial landmarks, physiological data-based signals, in order to detect the affective states of the human companion; (2) to generate in-situ affective social behaviors for the robot based on the interaction context; (3) to adapt the intensity of the robot's emotional expressions based on the preferences of the human companion. Despite challenging situations, with Covid-19 outbreak at the top of the list, and computational limitations, the previously mentioned research objectives were investigated in detail and the results were presented in this dissertation. We were able to answer the five research questions on the affective social behavior of a companion robot. The user studies conducted with hearing-impaired children in RoboRehab showed that Pepper robot was able to display emotional behaviors and the children could correctly identify and interpret them. Moreover, the RoboRehab findings revealed that the affective robot was able to trigger some emotional changes in children and cause difference in their physiological signals. These signals were used to distinguish the emotions of children with machine learning and deep learning approaches in different setups. On the other hand, the results from the EMBOA studies with children with ASD showed that a multimodal approach based on behavioral metrics, i.e. facial action units, physiological signals, interaction-specific metrics, can be used to understand the emotional state and infer the emotional model of the human companion. Different frameworks were presented in order to model an artificial emotional mechanism for a social robot. The first one was a simple linear affect model based on the two-dimensional valence and arousal representation. The second one, a vision-based model where the robot detects the affective state of its companion and develops a behavioral strategy to adapt its emotional behaviors and improve the negative mood of its companion. And finally, a behavioral model were presented for the robot to predict the preferences of its companion and regulate the intensity of its emotional behaviors accordingly. The results of the user studies and the findings revealed that an emotional model can be computationally modeled and implemented for a social robot to adapt its emotional behaviors to the preferences and needs of its companion, consequently, to make the interaction between the human companion-robot pair more natural. The RoboRehab and EMBOA user studies with different groups of children (with typical development, with hearing impairment, with autism) showed that independently from their profile the children were more involved and paid attention to the social robot. Even though the objective evaluation metrics did not point a significant difference, the subjective evaluation of the audiologists, therapists, pedagogues complied with the presented hypothesis. Furthermore, the self-report surveys with children and their parents showed that the children accepted the affective robot as an intelligent and funny social being. These results demonstrate that an affective social robot with personalized emotional behaviors based on the preferences of its companion can foster the interaction gain in an assistive human-robot interaction scenario.
Benzer Tezler
- A neorealist analysis of Iran-Russia relations: Tajik and Syrian civil wars
İran-Rusya ilişkilerinin neorealist bir analizi: Tacik ve Suriye iç savaşları
ESRA YANIK
Yüksek Lisans
İngilizce
2019
Uluslararası İlişkilerOrta Doğu Teknik ÜniversitesiOrtadoğu Araştırmaları Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DERYA GÖÇER AKDER
DR. ZELAL ÖZDEMİR
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Zihin yetersizliği olan ortaokul öğrencilerinin bulunduğu bir sınıfta öğretim etkinliklerinin teknoloji desteği ile geliştirilmesi: Bir eylem araştırması
Developing technology supported instructional activities in a class of middle school students with intellectual disability: An action research
CANAN SOLA ÖZGÜÇ
Doktora
Türkçe
2015
Eğitim ve ÖğretimAnadolu ÜniversitesiÖzel Eğitim Ana Bilim Dalı
PROF. DR. ATİLLA CAVKAYTAR
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE