Emotional awareness based adaptive social navigation for humanoid robots
İnsansı robotlar için duygusal farkındalığa dayalı uyarlanabilir sosyal navigasyon
- Tez No: 878672
- Danışmanlar: PROF. DR. HATİCE KÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 109
Özet
Gün geçtikçe robotlar günlük hayatlarımıza daha da fazla dahil olmaya başlıyorlar. Hastanelerden okullara bir çok hizmet sektöründe çalışmaya ve entegre olmaya devam ediyorlar. Bu entegrasyonun sağlanabilmesi için robotların fabrikalardan ve araştırma laboratuvarlarından çıkıp günlük yaşamımızın içine girmeleri bir zorunluluk haline gelmiş durumda. Tabii bu durum robotların çevrelerindeki engelleri ve objeleri tanımak dışında aynı zamanda çevrelerindeki insanlarında farkında olmalarını gerektirmiştir. Bu farkındalığında ilerisinde sosyal ipuçlarını tanımaları ve onlara uygun bir şekilde hareket etmeleri bir zorunluluk haline gelmiştir. Robotlarda sosyal farkındalığın gelişmesi bir çok araştırma konusunun önünü açmıştır. İnsanların gündelik hayatlarında kullandıkları sesli veya sessiz iletişim yöntemleri araştırılmaya ve robotlardaki sosyal farkındalığın daha da ileriye taşınması için bir sebep olmuştur. Sosyal farkındalıkla yapılan robot navigastonu bu ihtiyaçlar doğrultusunda doğmuş bir alanlardan biridir. İki nokta arasında hareket ederken çevresindeki insanlara rahatsızlık vermeden sanki o ortamın sosyal bir üyesiymiş gibi robotu hareket ettirmeye odaklanan bir alandır. İnsanların içinde bulundukları duygu durumlarının gündelik yaşamları üzerindeki etkisi esirgenmiycek derecededir. Kızgın bir insanın sert ve keskin tavırları ya da mutlu bir insanın hoşgörülü ve iyi niyeti bu etkilere verilebilecek en güzel örnekler arasındadır. İçinde bulunduğumuz duygu durumlarının gündelik yaşamımıza etkisi bu derece fazlayasa robotlarada bu farkındalığı kazandırmak aynı derecede önem arz etmektedir. Bu tez çalışmasının amacı, insanların içerisinde bulundukları duygu durumlarının kişisel ve sosyal alanlarına etkilerini araştırmak ve bu çıktıları sosyal navigasyonun bir parçası haline getirmektir. Bu çalışma sırasında duygusal farkındalığı da olan yeni bir robot navigasyon modeli geliştirilmiştir. Önerilen model günümüzde bir çok sosyal robotun da takip ettiği sosyal alanları farklı duygu durumlarına göre genişletip küçülterek navigasyon sırasında insanların fiziksel sağlığını korumak için geliştirilmiştir. Bu tez çalışması aşağıdaki soruları cevaplandırabilmek amacıyla kurgulanmıştır: - İnsanların duygusal durumları, sosyal çevrelerindeki sosyal alanlarının büyüklüğünü etkiler mi? - Negatif duygular içerisinde olan bir yetişkin, fiziksel güvenliği için bir robotun şu anda kullanılan sosyal alan mesafesinden daha uzak bir mesafeden yanından geçmesini ister mi? - Pozitif duygular içerisinde olan bir yetişkin, robotun yolunun optimizasyonu için bir robotun şu anda kullanılan sosyal alan mesafesinden daha yakın bir mesafeden geçmesini tolere eder mi? - Robotun çevresinde dolaştığı kişi pozitif duygular içerisindeki bir çocuksa, robotun şu anda kullanılan sosyal alan mesafesinden daha yakın bir mesafede geçmesi uygun olur mu? - Robotun çevresinde dolşatığı kişi negatif duygular içerisindeki bir çocuksa, robotun şu anda kullanılan sosyal alan mesafesinden daha uzak bir mesafeden geçmesi uygun olur mu? Bu soruların cevabını araştırmak ve sosyal navigasyon sistemlerine duygularıda eklemek amacıyla, simülasyon ortamıyla, oyun ortamıyla ve gerçek robot çekimleriyle üç farklı anket yapılmıştır. Ayrıca duygu tanıyan ve navigasyonu kişilerin içinde bulunduğu duygu durumuna göre düzenleyen bir navigasyon sistemi geliştirilmiştir. Bu navigasyon sistemi kişilerin yüzlerinden tanıdığı duygu durumuna göre kişilerin sosyal alanlarında genişleme ya da küçültme düzenlemeleri yaparak lokal planlayıcının kızgın kişini daha uzağından ya da mutlu kişinin daha yakınından geçmesine olanak tanır. Öncelikle robotun çevresindeki insanları tespit edebilmesi ve tanıyabilmesi için 2 katmanlı bir denetim sistemi kurulmuştur. İlk katman sensör verilerinden kişilerin ayak koordinatlarını tespit etmekte, ikinci katman ise bu ayak koordinatlarını kamera üzerinden YOLO derin öğrenme modeli ile teyit etmektedir. Kişi sistem tarafından tespit edildiğinde yüzünden duygu analizi yapan bir derin öğrenme modeli ile kişinin içinde bulunduğu duygu durumu pozitif, nötr ve negatif olarak etiketlenir. Kişinin içinde bulunduğu duygu durumu ile beraber kişinin sosyal alanındaki genişleme ve küçülme düzenlemelerinin yapılabilmesi için yeni bir maaliyet haritasıda geliştirilmiş ve katmanlı maaliyet haritasına eklenmiştir. Simülasyon ortamıyla yapılan ankette katılımcılara robotun yakınından geçtiği kişinin üç farklı duygu durumundaki (pozitif, nötr, negatif) videoları izletilmiştir. Katılımcılara robotun kişinin içinde bulunduğu duygu durumlarına göre hangi mesafeden geçmeleri gerektiği sorulmuştur. Ayrıca katılımcılara NARS sorularıda sorularak robotlara karşı tutumlarıda ölçülmüştür. Katılımcıların robotlara karşı negatif bir tutumu olup olmadığı istatistiksel olarak incelenmiş ve olmadığı gözlemlenmiştir. Anket sonuçları katılımcıların kızgın duygular içerisindeki bir kişinin robot navigasyonu sırasında daha uzağından geçilmesini tercih ettiğini söylerken, mutlu duygular içerisindeki bir kişinin robot navigasyonu sırasında daha yakınından geçilmesi tercih etmeğini de göstermiştir. İkinci yapılan anket için bir hastane ortamında geçen bir katılımcıların robotu kontrol ettikleri bir oyun kullanılmıştır. Hem çocukların hem yetişkinlerin katıldığı bu çalışmada katılımcılardan oyun içerisindeki görevleri yapmaları ve oyunu oynamadan önce ve sonra anket cevaplamaları istenmiştir. Oyun içerisinde katılımcının karşılaştığı ve farklı duygu durumları içerisinde olan NPC'ler ile robot arasında bıraktıkları mesafeler takip edilmiştir. Bu sonuçlarda katılımcıların (yetişkin ve çocukların) nötr NPC'lere oranla kızgın NPC'lerin daha uzağından, mutlu NPC'lerin ise daha yakınından geçtiği gözlemlenmiştir. Bu gözlenen verilerin doğruluğu aynı zamanda istatiksel olarakta incelenmiştir. Oyun öncesi anketlerde katılımcıların robotlara karşı tutumları ölçülmüş ve negatif bir tutumları olmadığı görülmüştür. Ayrıca kızgın ya da mutlu bir bireyin veya bir çocuğun etrafında hareket eden robotun kişinin yanından hangi mesafede geçmesini uygun gördükleri sorulmuştur. Katılımcıların roborun kızgın bireylerde uzağından, mutlu bireylerde ortalama bir mesafeden, çocuklarda ise uzak bir mesafeden geçilmesi istendiği görülmüştür. Oyun sonrası ankette katılımcılara oyun ortamının ve oynanma şeklinin ne kadar gerçekçi hissettirdiği ölçülmüş ve katılımcıların oyun ortamını ve oynanma şeklini gerçekçi buldukları sonucu çıkarılmış ve istatistiksel testlerle desteklenmiştir. Gerçek robot çekimleriyle yapılan anket çalışmasında ise katılımcılara farklı duygu durumlarındaki kişi (yetişkin veya çocuk) ve kişilerin çevresinden geçen robot videoları izletilmiştir. Robotun insanla arasında bıraktığı mesafelerden hangisini uygun buldukları ve çoklu kişilerin bulunduğu senaryolardaki robot davranışlarını uygun bulup bulmadıkları sorulmuştur. Videolardaki kişilerin yüzleri yerine emoji kullanılmış ve bu emojilerdeki duygu durumlarının katılımcı tarafından doğru algılanıp algılanmadığının ölçülmesi için katılımcılardan emojilerin hangi duygu durumunu yansıttığı soruları yöneltilmiştir. Anketin başında diğer anketlerde de olduğu gibi katılımcıların robota karşı tutumlarını ölçmek için sorular sorulmuş ve katılımcıların negatif bir duygu içerisinde olmadığı gözlemlenmiş ve istatiksel olarak gösterilmiştir. Anket sonuçlarına göre tek bir çocuk veya yetişkin ile çekilen senaryolarda katılımcıların videodaki kişi kzıgın ise robotun uzaktan geçmesini isterken kişi mutlu ise yakınından geçmesini istememiştir. Çoklu kişilerin ve duyguların olduğu senaryolarda ise robotun kızgın kişilerin uzağından ve mutlu kişilerin yakınından geçiyor oluşu robot davranışı katılımcılar açısından uygun bulunmuştur. Yetişkin bir birey veya bir çocuğun negatif bir duygu içerisindeyken robotun güncel olarak kullanılan sosyal alan mesafesinden kesinlikle daha uzak bir mesafeden geçmesi, katılımcılar tarafından uygun görülmüştür. Bu durum anket sonuçlarının istatistiksel olarak incelenmesiylede desteklenmiştir. Yetişkin bir birey veya bir çocuğun mutlu bir duygu durumu içerisindeyken robotun güncel olarak kullanılan sosyal alan mesafesinden daha yakın bir mesafeden geçmesi durumunda ise karışık sonuçlar elde edilmiştir. Anket sonuçlarına bakıldığında katılımcılar robotun yakından geçmesini istemezken oyun ortamında ters bir tutum sergileyerek mutlu NPC'lerin yakınından geçmeyi tercih etmişlerdir. Anket sonuçlarıda oyun verileride istatistiksel olarak incelenmiş ve testlerle doğrulanmıştır. Toplamda 194 kişi ile yapılan anket sonuçlarına bakarak insanların içinde bulundukları duygu durumlarının sosyal alan mesafelerini etkilediğini kanıtlanmıştır.
Özet (Çeviri)
Day by day, robots are becoming more and more involved in our daily lives. They continue to work and become integrated in many service sectors, from hospitals to schools. In order to achieve this integration, it has become a necessity for robots to leave factories and research laboratories and enter our daily lives. Naturally, this situation has required robots to be aware of the people around them, as well as recognising obstacles and objects around them. Beyond this awareness, it has become a necessity for them to recognise social cues and act accordingly. The development of social awareness in robots has paved the way for many research topics. The verbal or non-verbal communication methods that people use in their daily lives have been a motive for further research and further development of social awareness in robots. Robot navigation with social awareness is one of the fields that emerged in line with these needs. It is a field that focuses on navigating robots with social awareness while moving between two points without disturbing the people around it, as if it were a social member of that environment. The emotional states of people have a significant impact on their daily lives. The violent and sharp behaviour of an angry person or the tolerance and goodwill of a happy person are among the best examples of such effects. If the emotional states we are in have such an impact on our daily lives, it is equally important to provide this awareness to robots. The aim of this thesis is to investigate the effects of people's emotional states on their personal and social spaces and to make these outputs a part of social navigation. During this study, a new robot navigation framework with emotional awareness has been developed. The framework has been designed to protect people's physical wellbeing during navigation by expanding and contracting social zone distances according to different emotional states, which many social robots follow today. This thesis is designed to answer the following questions: - Does the emotional state of people affect the size of their social space in their social environment? - Would an adult with negative emotions want a robot to pass by him/her at a distance further than the currently used social zone distances for his/her physical safety? - Would an adult with positive emotions tolerate a robot to navigate by at a distance closer than the currently used social zone distances for the optimization of the robot's path? - If the person the robot is navigating around is a child with positive emotions, would it be appropriate for the robot to pass at a closer distance than the current social space distance? - If the person the robot is navigating around is a child with negative emotions, would it be appropriate for the robot to pass at a further distance than the social space distance currently used? In order to investigate the answers to these questions and to include emotions in social navigation systems, three different surveys are conducted with a simulation environment, a game environment and real robot recordings done by us. In addition, a navigation system that recognises emotion and organises the navigation according to the emotional state of the people has been developed. This navigation system allows the local planner to pass farther away from the angry person or closer to the happy person by making expansion or contracting adjustments in the social zones of the people according to the emotional state that it recognises from the faces of the people. First of all, a two layer control system has been established for the robot to detect and recognise the people around it. The first layer detects the foot coordinates of the people from the laser sensor data, and the second layer confirms these foot coordinates with the YOLO deep learning model through the camera. When the person is detected by the system, the emotional state of the person is labelled as positive, neutral and negative by a deep learning model that performs emotion analysis. A new cost map has also been developed and added to the layered cost map system in order to make the expansion and contraction adjustments in the social zone of the person with the emotional state of the person. In the survey conducted with the simulation environment, the participants are shown videos of the person in three different emotional states (positive, neutral, negative). The participants are asked at what distance the robot should pass according to the emotional states of the person. In addition, NARS questions are asked to the participants and their attitudes towards robots are measured. It is statistically analysed whether the participants had a negative attitude towards robots, and it is observed that they have no negative attitude. The results of the survey showed that a person with angry emotions preferred to be passed farther away, while a person with happy emotions did not prefer to be passed closer during robot navigation. For the second survey, a game in which participants control a robot in a hospital environment is used. In this study, in which both children and adults participated, the participants are asked to perform the tasks in the game and answer the survey questions before and after playing the game. The distances between the robot and the NPCs in different emotional states that the participant encountered in the game are tracked. In these results, it is observed that participants (adults and children) passed farther away from angry NPCs and closer to happy NPCs than neutral NPCs. The validity of these observed data is also analysed statistically. In the pre-game surveys, the attitudes of the participants towards robots are measured, and it is observed that they did not have negative attitudes. In addition, they are asked at what distance they think it is appropriate for the robot moving around an angry or happy individual or a child to pass by the person. It is observed that the participants wanted the robot to pass far away for angry individuals, at an average distance for happy individuals, and at a long distance for children. In the post-game survey, it is measured how realistic the game environment and the way it is played felt to the participants, and it is concluded that the participants found the game environment and the way it is played realistic, and also these results are supported by statistical tests. In the survey study conducted with real robot videos, participants are shown videos of robots passing around people (adults or children) with different emotional states. They are asked which of the distances between the robot and the human they found appropriate, and whether they found the robot behaviours appropriate in scenarios with multiple people. Emojis are used instead of the faces of the people in the videos. In order to measure whether the emotional states in these emojis are perceived correctly by the participants, the participants are asked which emotional state the emojis reflected. At the beginning of the survey, as in other surveys, questions are asked to measure the attitudes of the participants towards the robot, and it is observed and statistically shown that the participants are not in a negative emotion. According to the results of the survey, in scenarios with a single child or adult, if the person in the video is angry, the participants wanted the robot to pass from a distance, while if the person is happy, they did not want the robot to pass from a closer distance. In scenarios with multiple people and emotions, the fact that the robot passes far away from angry people and close to happy people is found appropriate in terms of robot behaviour by the participants. When an adult individual or a child is in a negative state of emotion, it is considered appropriate by the participants that the robot passes at a distance that is definitely farther than the currently used social distance. This situation is supported by the statistical analysis of the survey results. When an adult individual or a child is in a happy state of emotion, mixed results are obtained in the case of the robot passing at a distance closer than the currently used social space distance. Looking at the survey results, the participants did not want the robot to pass closely, while in the game environment, they showed a reverse attitude and preferred to pass close to happy NPCs. Both the survey results and the game data are statistically analysed and verified by tests. Based on the results of the survey conducted with 194 people in total, it has been proved that the emotional states of people affect the social space distances.
Benzer Tezler
- Koruyucu ve evlat edinen annelerin ebeveynlik becerilerini güçlendirmeye yönelik etkileşime dayalı bir erken müdahale programı
A responsive early intervention program to strengthen the parenting skills of foster and adoptive mothers
MÜGE KUNT
Doktora
Türkçe
2022
Eğitim ve ÖğretimGazi ÜniversitesiÇocuk Gelişimi ve Eğitimi Ana Bilim Dalı
PROF. DR. NESLİHAN AVCI
- Türkiye'de erkeklerin şiddet hakkında algı, düşünce ve deneyimleri
Men's perceptions, thoughts and experiences of violence in Turkey
ERMAN ÖRSAN YETİŞ
Doktora
Türkçe
2019
SosyolojiAnkara ÜniversitesiKadın Çalışmaları ve Toplumsal Cinsiyet Ana Bilim Dalı
PROF. DR. ELİF EKİN AKŞİT VURAL
- Üniversite öğrencilerinin kimlik stilleri ve kişilerarası ilişkilerinin incelenmesi
An investigation of identity styles and interpersonal relationships in university students
MERVE SAYIKOĞLU UÇAR
Yüksek Lisans
Türkçe
2020
Eğitim ve ÖğretimGazi ÜniversitesiRehberlik ve Psikolojik Danışmanlık Ana Bilim Dalı
PROF. DR. MEHMET GÜVEN
- Hemşirelerin iletişim becerileri, mental iyi oluşları ve aleksitimi düzeyleri
Communication skills, mental well-being and alexithymia levels of the nurses
ELİF BUSE DALOKAY
Yüksek Lisans
Türkçe
2022
Hemşirelikİstanbul Okan ÜniversitesiHemşirelik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ADEVİYE AYDIN
- Duygu odaklı terapi yaklaşımına bağlı duygusal farkındalık eğitiminin evli bireylerde incelenmesi
Research on the effeccts of emotional awareness training based on emotion-focused therapy on married individuals
NAZLI ÖZBURUN