Evaluation of human and robot faces and voices through behavioural and neuroimaging methods
İnsan ve robot yüz ve seslerinin davranışsal ve nörogörüntüleme yöntemleriyle incelenmesi
- Tez No: 714284
- Danışmanlar: DR. ÖĞR. ÜYESİ FUNDA YILDIRIM, DR. ÖĞR. ÜYESİ SİNEM BURCU ERDOĞAN
- Tez Türü: Doktora
- Konular: Biyomühendislik, Fizyoloji, Psikoloji, Bioengineering, Physiology, Psychology
- Anahtar Kelimeler: İnsan-robot etkileşimleri, tekinsiz vadi etkisi, yüz ve ses tasarımları, prefrontal korteks, İYKAS ölçümü, Human-robot interactions, uncanny valley effect, face and voice design, prefrontal cortex, fNIRS measurement
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Sinir Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 123
Özet
Robotların günlük hayatımızda yaygınlaşmasıyla birlikte insan-robot etkileşimleri önem kazanmıştır. En basit robot tasarımlarından insansı robotlara kadar, robotlarla iletişim doğrusal olarak kolaylaşmaktadır. Ancak insansı robot tasarımları bu doğrusal çizgiyi kırar ve bir anda insanlar bu tasarımlara karşı tiksinti ve esrarengiz duygular hissederler. Bu etkiye“tekinsiz vadi etkisi”denir. Çalışmamızda; tekinsiz vadi etkisinin nasıl oluştuğunu, robot ve insan tasarımlarının seslerinin ve yüzlerinin nasıl algılandığını davranışsal ve nörogörüntüleme yöntemleriyle araştırdık. Davranışsal deneylere 30'u genç, 30'u yaşlı olmak üzere 60 katılımcı ile gerçekleştirildi. Gerçekçi olmayan, yarı gerçekçi ve gerçekçi ses ve yüz tasarımları, katılımcılar tarafından normallik ve tekinsizlik duygularına göre derecelendirildi. Çalışmanın diğer aşaması olan beyin görüntüleme deneylerine 35 sağlıklı yetişkin katıldı. Prefrontal korteks aktiviteleri İYKAS (işlevsel yakın kızılaltı spektroskopisi) yöntemi ile kaydedilirken, katılımcılar insan ve robot yüzleri ve seslerini içeren videolar izlediler. Davranışsal deney aşamasının sonuçlarına göre; çok modlu işitsel ve görsel uyaranlar, katılımcılarda tek modlu yalnızca işitsel ve yalnızca görsel uyaranlardan daha fazla tekinsiz duygular uyandırdı. Daha yaşlı katılımcıların daha az gerçekçiden gerçekçiye doğru daha doğrusal tepki verdiğini, ancak genç katılımcıların farklı ses ve görüntü seviyelerine daha hassas tepki verdiğini gözlemledik. Nörogörüntüleme deneyinin sonuçlarına göre; prefrontal korteksin sol lateral ve kısmen sağ lateral bölgelerinin robot ve insan sesindeki ve yüz uyaranlarındaki değişikliklere spesifik bir tepki verdiği bulundu. Çalışmamız sonucunda insan ve robot etkileşimlerinin insan beyninde bilişsel ve fizyolojik olarak işlendiği ve farklı işitsel ve görsel düzeylere bağlı olarak belirli tepkiler oluşturduğu belirlenmiştir. Tekinsiz vadi etkisinin, bilişsel etkiye ek olarak beyin üzerinde fizyolojik bir etkisi olduğunu da varsaydık. Bu keşifsel çalışma, insan-robot etkileşimlerinin bilişsel ve sinirbilim yöntemleriyle çok boyutlu olarak incelenmesi gerektiğini göstermektedir.
Özet (Çeviri)
Human-robot interactions have become important with the widespread use of robots in our daily lives. As we encounter robots from the simplest designs to humanoid designs, communication with robots becomes linearly easier. However, humanoid robot designs break this linear line and people may feel sudden revulsion and uncanny feelings towards these designs. This effect is called the uncanny valley effect. In our study; we investigated how the uncanny valley effect occurs, how voices and faces of robot and human designs are perceived by using behavioural and neuroimaging methods. 60 participants, 30 younger and 30 older, participated in the behavioural experiment. Unrealistic, semi-realistic and realistic voice and face designs were rated by the participants according to their feelings of normality and uncanniness. 35 healthy adults participated in the neuroimaging experiments, which is the second part of the thesis. Prefrontal cortex activities were recorded using fNIRS (functional near infrared spectroscopy) while the participants watched videos containing human and robot faces and voices. According to the results of the behavioural experiment step; multimodal auditory and visual stimuli elicited more uncanny feelings in participants than the unimodal auditory-only and visual-only stimuli. We indicated that the older participants showed more linear response from less realistic to realistic, but the younger participants showed a more sensitive response to different sound and image levels. In the results of the neuroimaging experiment; left lateral and partially right lateral areas of the prefrontal cortex were found to have a specific response to changes in robot and human voice and face stimuli. As a result of our study, it was determined that human and robot interactions are processed cognitively and physiologically in the human brain and create specific responses depending on different auditory and visual aspects. We also suggest that the uncanny valley effect has a physiological effect in the brain in addition to its cognitive effect. This exploratory study shows that human-robot interactions should be studied in a multidimensional manner with cognitive and neuroscientific methods.
Benzer Tezler
- Potentialities for and limits to inclusion by education: The case of Syrian children's education in Turkey and child labour
Eğitim tarafından içermede potansiyeller ve limitler: Türkiye'deki Suriyeli çocukların eğitimi ve çocuk işçiliği
YASEMİN KIZILOĞLU
Yüksek Lisans
İngilizce
2021
Sosyal HizmetOrta Doğu Teknik ÜniversitesiSosyal Politika Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MEHMET OKYAYUZ
- Yalın üretim ve dijitalizasyon (endüstri 4.0 + endüstri 5.0): Çok boyutlu etkileşim matrisi ve üretim firmaları için kurulum, geliştirme stratejileri ve değerlendirme modeli
Lean+digitalization (Industry 4.0 + industry 5.0): Multi-domain matrix as a reference implementation and improvement strategies for manufacturing companies and assessment model
HASAN OKTAY GÖKTAŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NEJAT YUMUŞAK
- Üretimde kullanılan operatör destek odaklı artırılmış gerçeklik teknolojilerinin kullanılabilirlik kavramı kapsamında değerlendirilmesi
Evaluation of operator support-based augmented reality technologies used in production within the concept of usability
OSMAN ER
Yüksek Lisans
Türkçe
2022
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALP ÜSTÜNDAĞ
- Makine öğrenme algoritmalarıyla hatalı ürün tahmini
Prediction of defective product with machine learning algorithms
ENES ŞANLITÜRK
Yüksek Lisans
Türkçe
2018
Bilim ve Teknolojiİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. FERHAN ÇEBİ
- Teknolojik gelişmelerin büro mekenlarında yarattığı değişimler ve ev ofisleri
The Changes, which are created by technological developments, in office space and home offices
BURÇİN YAVUZ
Yüksek Lisans
Türkçe
2003
MimarlıkYıldız Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. ÜLKÜ ALTINOLUK