Geri Dön

Assistant humanoid robots for sign language tutoring

İnsansı robot destekli işaret dili öğretimi

PDF İndir

  1. Tez No: 384829
  2. Yazar: NEZİHA AKALIN
  3. Danışmanlar: YRD. DOÇ. DR. HATİCE KÖSE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2014
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 90

Özet

İnsansı robotların yaygınlaşmaya başlamasıyla birlikte robotların bir tedavi aracı olarak kullanılması fikri de ön plana çıkmıştır. İnsan-robot etkileşimi ile ilgili pek çok uygulama, insanların hayat kalitelerini iyileştirmeye yardımcı olmak ve sosyal etkileşim kapasitelerini geliştirmek için zeki uygulamalar geliştirmeyi amaçlar. İnsan toplumsal bir varlıktır dolayısıyla toplumsal yaşam içindeki insanın sosyal etkileşimde bulunması doğal bir ihtiyaçtır. İnsanların etkileşim kurulabilmesi için ortak bir zeminde/noktada buluşmaları gerekir. Ortak nokta ise ancak iletişimle bulunabilir, buradan hareketle iletişimin önemi ortaya çıkar. İşaret dili sözlü olarak iletişim kuramayan kişiler için doğal bir iletişim aracıdır. İşaret dili görsel bir dildir, el/kol/yüz ve baş hareketlerinin birleşiminden oluşur. Bu tez çalışmasında insansı robotların işaret dili öğretimini de kullanılması amaçlanmıştır. İnsansı robotlar, taklit tabanlı etkileşim oyunlarıyla iletişim problemi olan kişilere bilhassa işitme engelli ve otistik çocuklara yardımcı olmak için görevlendirilmiştir. İşaret dili eğitimi için üretilen iki boyutlu eğitim araçlarıyla öğrenmenin zorluğu ve bu alanda kullanılacak yeterince eğitsel araç olmaması bizi çocuk boyundaki insansı robotların işaret dili öğretiminde kullanımı doğrultusunda motive etmiştir. İşaret dili öğretiminde eğitmenin fiziksel olarak bulunması öğrenmede büyük pozitif etkiye sahiptir. Bu çalışmada göstermiştir ki insansı robotlar, işaret dili öğretiminde etkili bir araç olarak kullanılabilirler. Bu tez çalışması kapsamında iki tip insansı robot kullanılmıştır; Nao H-25 ve Robovie R3. İnsansı robot Nao H-25 birbirinden bağımsız hareket edemeyen üç parmağa sahiptir. Nao robotun parmak bağımlılığı ve kol kısalığı gibi fiziksel kısıtlarına rağmen Türk İşaret Dili'nden yüzden fazla işaret robot üzerinde gerçeklenmiştir. Robotun oyuncak-vari görünüşü çocukların onunla etkileşimini kolaylaştırmaktadır. Çalışmada kullanılan Robovie R3 insansı robotu ise standart Robovie R3 robotunun değiştirilmiş halidir. Standart versiyona göre daha fazla serbestlik derecesine sahip olan R3, aynı zamanda birbirinden bağımsız hareket edebilen beş parmağa sahiptir. İşaret dilinde büyük öneme sahip parmak hareketlerini kolayca yapabilmesi, hareketlerin daha anlaşılır olmasını sağlamaktadır. İşaret dili öğretimi, sözsüz iletişime dayalı etkileşim oyunları, sıralı iletişim ve taklit içeren oyunlar yoluyla başarılabilir. Oyunlar çocuklar ve robotun etkileşimi için özel olarak tasarlanmış olup çocukların robotla etkileşimini ve iletişimini teşvik eder niteliktedir. Kullanıcı tabanlı testler esnasında gözlemlendiği kadarıyla katılımcılar robotla etkileşim esnasında rahat bir ruh haline sahiptirler. Bütün senaryoda üç mod vardır. İlk modda katılımcılar ve robot birbirlerine karşı aşinalık kazanırlar. Katılımcılar işaretlerle tanışır. Bu modda robot katılımcının ilgisini taze tutmaya çalışır. Robot katılımcının yüzünü izler, katılımcının yüzünü kaybettiğinde katılımcıyı kendisini izlemesi için motive eder. İkinci modda katılımcı ve robot birlikte hareketleri tekrar ederler. Bu modda amaçlanan hareketlerin pekiştirilmesidir. Üçüncü modda robot ve katılımcı karşılıklı bir etkileşim oyunu oynarlar. Önerilen sistemde dört farklı oyun tasarlanmış ve gerçeklenmiştir fakat sistem rahatlıkla daha farklı oyun ve kelimelere kolaylıkla adapte edilebilir. Duyma engeli olmayan yetişkinler ve çocuklarla yapılan kullanıcı tabanlı testlerle, bir seansta öğrenilebilecek optimum kelime sayısının tespiti yapılmış ve 8-10 kelimenin bir seansta öğretilmesinin ideal olduğu kanısına varılmıştır. Ayrıca testlerde deney kurulumunun en iyi hale getirilerek öğrenmenin artırılması hedeflenmiştir. Kullanıcı testlerinin kurulumu ve kelime sayısı sistematik olarak değiştirilmiş, basitten zora doğru bir yol izlenmiştir. Her test sonrası katılımcıların görüş ve önerileri göz önünde bulundurularak bir sonraki test kurulumu hazırlanmıştır. Çalışma kapsamında kullanılacak verileri toplamak için birçok farklı kaynak kullanılmıştır. Bu kaynaklar; oyunun son modunda katılımcılara dağıtılan ve oyun süresince izledikleri işaretleri öğrenip öğrenmediklerini kapsayan testleri, oyun düzeneğini geliştirmek amacıyla deneyler esnasında dağıtılan anketleri, daha sonra kullanılmak üzere kayda alınan video kamera görüntülerini ve Kinect kamera kayıtlarını ve katılımcılar ile yapılan sözlü anket sonuçlarını içerir. Bu çalışmada tasarlanan sistem yapısı ve açıklamaları itibari ile işitme engelli çocukların herhangi bir ek yardıma ihtiyaç duymadan işaret dilini öğrenmelerini sağlayacak şekilde tasarlandı. Burada önerilen sistem aynı zamanda normal gelişimi olan çocuklarla da oynanabilir. Önerilen sistemin modları işaretlerin gerçeklemesi, işaretlerin anlamlarının öğretilmesi ve sıra alma üzerine kuruldu. İşitme engelli çocuklar, kendilerine uygun özel olarak tasarlanmış oyunlardan yoksundurlar. Tasarlanan oyunlar, çocukların yeni işaretler öğrenmesine ve öğrendikleri işaretleri robotla etkileşim esnasında kullanmalarına fırsat verir. İlk adım olarak deneyler yetişkinlerle test edildi. Çocuklarla test etmeden önce deney kurulumunu iyileştirmek ve çocuklar için en uygun deney düzeneğini hazırlamak için yetişkinlerle yapılan deney sonuçları çalışmanın ilerlemesinde yol haritası niteliğindedir. Bu tez kapsamında işaret dili eğitiminin bir parçası olarak kullanılmak üzere sosyal robotik bir çatı (framework) önerilmiştir. Önerilen çatı sistemi tanıma modülü, gerçekleme modülü ve davranış veri tabanı içerir. Aile bireyleri ve eğitmenler tarafından kullanılabilecek sistem, duygu tanıma, görüntü tanıma, hareket tanıma, yüz tanıma ve konuşma tanıma modülleri içerir. Sistemin tamamı gerçeklendiğinde, elektroensefalografi ve göz izleme araçları da eklenerek çocukların duygu durumu saptanarak robotun davranışlarını bu verilere göre şekillendirmesi sağlanacaktır. Gerçeklenmiş sistem, çocuğun ilgi durumunu tespit etmek için yüz izleme sistemi kullanmaktadır. Sistemin yapısı çocuğun robotun karşısında öğretmen, öğrenci ve arkadaş rollerini almasını sağlar. Çocuğun değişik roller alarak sosyal iletişim ve etkileşim yeteneklerinin gelişmesi, kendine güveninin artması hedeflenmiştir. İşitme engelli çocukların bilişsel gelişimini inceleyen uzmanlara göre işitme engelli bir çocuğun bir ana dilinin olmasının (işaret dili ya da sözlü dil) çocuğun zihinsel gelişimini ciddi manada olumlu etkilediğini belirtiyorlar. Çocuk tamamen işitme engelli ise ve ailesi işitme engelli değilse çocuğun erken yaşlarda işaret dili öğrenmesi gerçekleşemiyor ve çocuk bir ana dil edinmede zorluk yaşamaktadır. Robotların işaret dili öğretmede kullanılmasıyla bu ihtiyacın giderilmesi amaçlanmıştır. Çalışmalarımıza danışmanlık yapan uzmanlar, eğer çocuk kısmen işitebiliyorsa (ya da koklear implant gibi işitme cihazları kullanılıyorsa) melodik bir çocuk sesi ve renkli kartların kullanımının, eğer tamamen işitme kaybı varsa sadece renkli kart kullanımının çocukları motive edeceğini ve konuşma tedavisinde onlara yardımcı olacağını düşünmektedir. Renkli resimlerin olduğu kartların kullanımı,işitme bozukluğu olan çocuklarla iletişim kurabilmemizi ve de etkileşim oyununu devam ettirebilmemizi sağlamıştır. Oyun sonunda yine renkli resimlerden oluşan testlerle katılımcıların öğrenme performansı sınanmıştır. Kullanıcı deneylerinin sonuçlarında görülmüştür ki çocuklar her iki robotla da son derece keyifli bir şekilde oynamışlar; fakat R3'ün hareketlerini daha net anladıklarını ifade etmişlerdir Nao ile oynamayı tercih etmelerine rağmen R3 robotuyla daha çok ilgilendikleri ve işaretleri ondan öğrenmeyi tercih ettikleri gözlemlenmiştir. Bu doğrultuda, çocukların Nao'yu bir oyuncak olarak gördükleri, R3'ü ise daha çok bir akranları gibi algıladıkları söylenebilir. Bu çalışmada insansı bir robotun işaret dili öğretimindeki yararlılığı ve performansı değerlendirilmiştir. Deneyler, çocuklarla test edilmeden önce ilk olarak yetişkinlerle test edilmiştir. Yetişkinlerle yaptığımız testlerde asıl amacımız, işitme bozukluğu olan çocuklarla herhangi bir test yapmadan önce deney düzeneğinin mümkün olduğunca mükemmelleştirilebilmesi için atılması gereken adımların belirlenmesidir. Testlerden elde edilen ilk sonuçlar, insansı robot ve çocuklar arasında daha uygun bir etkileşim kurulabilmesini sağlamak amacıyla yapılması gereken değişikliklerde yol gösterici olmuştur. Önerilen robotik çatının tamamının gerçeklenmesi ve sistemin beş parmaklı Robovie R3 robotuna taşınması gelecekte yapılması planlanan çalışmalardır. Ayrıca çalışmanın hedef kitlesi olan işitme engelli çocuklarla uzun süreli testler yapılarak çalışmanın uzun soluklu etkileri incelenecektir.

Özet (Çeviri)

As the usage of humanoid robots becomes more common, the applications of assistive robotics and the idea of using robots as therapy tools have increased in recent years. Many applications of human-robot interaction include creating intelligent technologies to help people improving their life quality and social interaction capability. Human is a social being, therefore the social interaction is an important need in human life. People try to find common ground for interaction establishment. The common ground can be found by communication and from this point of view, the importance of communication is conferred. Sign language is the natural communication medium for the people who cannot communicate verbally. Sign Language is a visual language that is composed by a combination of hand gestures, facial expressions, and head movements. This work is part of an ongoing project that aims to employ humanoid robots as sign language tutoring assistance. The main goal of the study is to use the humanoid robots with imitation based interaction games for helping children with communication problems, especially hearing impaired children and children with Autistic Spectrum Disorder. The difficulties with 2-D instructional tools developed for sign language tutoring and the lack of sufficient educational material in this field, motivate us to use child-sized humanoid robots as sign language tutoring assistants. The humanoid robots can perform various elementary sign language words to assist teaching these words to hearing-impaired children. In this thesis, a framework is proposed for ideal humanoid robot – children interaction. The system proposed here can be easily adapted to the children's disability degree. Teaching can be achieved using interaction games based on non-verbal communication, turn taking and imitation, designed specifically for the robot and child to engage each other in play. In this study, two types of humanoid robots are used: Nao H-25 humanoid robot and Robovie R3 humanoid robot. Despite the physical limitations of Nao robot, which are finger dependency and short limbs, more than one hundred words from Turkish Sign Language are implemented. The toy like appearance of Nao robot attracts children to interact with it. The participants interact with Nao in a comfortable mood. There are currently 13 signs implemented on Robovie R3 robot. The user studies showed that the children attending the studies perceive Robovie R3 robot as a peer. The modified Robovie R3 humanoid robot being used in our project, has two five- fingered hands so it is more successful in teaching sign language, than the Nao robot, since sign languages (Turkish Sign Language is tested for this thesis) require independent finger gestures in most of signs. The overall scenario includes three different modes. In the first mode, the participants and the robot gain familiarity with each other and the participant also introduced with signs. In this mode, the robot tries to keep the participant's interest fresh by detecting the participant's face. If the participant loses his/her interest, the robot gives motivation to the participant. In the second mode, the participant and the robot repeat signs together. In this mode, the aim is reinforcement of signs. In the third mode, the robot and the participant play an interactive game. There are four different interactive games based on this scenario in the current system. The system can be easily adapted to different words and different games. The system is tested with different participant groups including kindergarden school children, primary school children, teenagers and adults. The obtained results are quite promising and motivate us for further studies.

Benzer Tezler

  1. Tez No

    445086

    Self collision detection system for sign tutoring humanoid robot

    İşaret dili eğitmeni insansı robot için çarpışma tespit sistemi

    YAKUP ÖZDEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  2. Tez No

    392982

    The study of embodiment on humanoid robots for Turkish sign language

    Türk işaret dili için insansı robotlar üzerinde vücutlandırma çalışmaları

    AHMET ÖZKUL

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  3. Tez No

    444213

    Robot and avatar based interactive system for children's education

    Çocuk eğitimi için tasarlanmış robot ve avatar destekli etkileşimli sistem

    RABİA YORGANCI KINDIROĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  4. Tez No

    315257

    Human assisted humanoid robot painter

    İnsan destekli insansı robot ressam

    CEMAL GÜRPINAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. HATİCE KÖSE

  5. Tez No

    546544

    Emotion aware artificial intelligence for cognitive systems

    Bilişsel sistemler için duygu farkındalıklı yapay zeka

    DEĞER AYATA

    Doktora

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YUSUF YASLAN

    PROF. DR. MUSTAFA ERSEL KAMAŞAK

Geri Dön