Geri Dön

The study of embodiment on humanoid robots for Turkish sign language

Türk işaret dili için insansı robotlar üzerinde vücutlandırma çalışmaları

PDF İndir

  1. Tez No: 392982
  2. Yazar: AHMET ÖZKUL
  3. Danışmanlar: DOÇ. DR. HATİCE KÖSE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2015
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 72

Özet

Bilgisayar simulasyonları gerçek dünyada olan olayları modellemek ve görselleştirmek amacıyla sıkça kullanılmaktadır. Deprem, yangın, savaş gibi felaket senaryolarının sanal ortamda olası sonuçlarını gelişen teknoloji ile görselleştimek mümkün olmaktadır. Bu tip olayların gerçek dünyada tekrarlanmaları mümkün olmadığından simulasyon ortamında gözlemleyerek gerekli önlemlerin alınması gerekmektedir. Bu senaryoların dışında simulasyon programları robotik çalışmalarında da kullanılmaktadır. Günümüzde robotik cihazların çok pahalı olması, bu cihazlarda oluşabilecek istenmeyen kazaları önlemeyi de önemli hale getirmektedir. Aynı zamanda simulasyon ortamları robottan bağımsız olarak birden fazla kişinin aynı ya da farklı projelerde gerekli çalışmaları daha kolay bir şekilde yapabilmelerine de olanak sağlar. İşitme engelli insanlar ile anlaşabilmek için işaret dili ortak bir alan oluşturmaktadır. İşaret dili el, kol, yüz ve baş hareketlerinin birleşiminden oluşan görsel bir dildir. Sözlü olarak iletişim kuramayan insanlar için doğal bir iletişim aracıdır. Otizmli ya da işitme engelli insanlarla iletişim kurabilmek için kullanılan işaret dili eğitiminde günümüzde insansı robotlardan da yararlanılmaktadır. İşaret dili görsel bir dil olduğundan bu alanda kullanılan insansı robotlarda hareketleri gerçeklemeden önce simulasyon ortamında gerçeklemeyi de önemli hale getirmektedir. İşaret dili hareketleri sırasında insanlar el, kol,yüz ve baş hareketlerini çokca kullanmaktadır. Bu hareketlerin robota aktarılmadan önce 3 boyutlu bir simulasyon ortamında gözlenmesi, fiziksel robotun hareketleri gerçeklerken kollarının vücuduna ya da birbirine çarpmasını önlemek için gereklidir. Simulator ortamında kaydedilen hareketerin videoları android ortamında geliştirilen bir çatı yazılıma(framework) yüklenerek kullanıcılar üzerinde test edildi. Bu yazılım üç ana bölümden oluşmaktadır. İlk kısımda katılımcının ad, yaş, cinsiyet gibi demografik verileri alınır. Bu sayede testin yapıldığı katılımcı grubu analiz edilebilir. İkinci kısımda kullanılan uygulamaya göre eğitim kısmı bulunur ve uygulamayı kullanımı ya da uygulama içindeki işaretleri öğretilir. Son kısımda ise uygulamaya çoktan seçmeli sorular ile test yapılır. Bu yazılım ile araştırmacıların test yapabilmesi kolaylaştırılmıştır. Bu çalışma kapsamında da yazılımın bir versiyonu kullanıcılardan gerekli demografik datayı aldıktan sonra, çoktan seçmeli bir işaret dili testi ile simulator videolarındaki hareketleri kullanıcılara sormaktadır. Arka planda kullanıcıların doğru ya da yanlış seçimleri, seçim hızları gibi bilgiler değerlendirilmek üzere toplanmaktadır. İkinci bir versiyonunda ise işaret dili bilmeyen kişilere önce eğitim kısmında işaret dili kelimelerini işaret dili öğretmeni ve iki farklı robot platformunun videoları ile göstererek öğretir. Bu kısımda her hareketten sonra kullanıcıya robotların hangisinin hareketi öğretmeninkine daha benzer yapabildiği sorulur. Test kısmında ise öğretilen işaret dili kelimeleri robot platformları ile kullanıcıya sorulur. Bu versiyonda fiziksel robotların işaret dili üzerindeki performansları hakkında bize bilgi vermektedir.

Özet (Çeviri)

Visualizing real world in computer simulations has an essential role in analysing the complex situations. Working with physical devices can be hard and expensive because of unwilling damages and costs. Simulating cases and actions improve the success of projects. Especially in robotic projects, simulators have vital role to prevent accidental damages. Simulators also provide low cost training environments, so more people can study on it. Humanoid robots are widely used in education area and also for therapy of autism. Researcher try to find a common ground to communicate with hearing impaired people and people who have autism. Sign Language provide a common layer for people who can not speak verbally. This work is part of an ongoing project which aims to actuate humanoid robots as sign language tutoring assistance. Main goal of the project is to help children with communication problems, particularly children with Autistic Spectrum Disorder and hearing impaired children. Our Humanoid robot Robovie R3 does not have a 3D simulator, so this study mainly focus on creating a 3D simulator for our robot and examining success of it on performed sign language words. There are lots of developed physic engines and simulation environments to visualize projects in computers. Gazebo simulator is an open source improved one and provides many futures. Modelling actions in simulators and transferring them safely to physical world increase success and decrease actual time in projects. Benefits of simulators and necessity of creating Robovie R3 simulator motivate us to develop a simulator on Gazebo environment. It is capable of moving arms and head which is basically enough to sign TSL (Turkish Sign Language) words. In this study, two sub projects are developed. First one is Robovie R3 simulator on Gazebo environment. It can create motion files and convert them to transfer physical robot. TSL words are performed and saved as motion files on Robovie R3 simulator. In this way both a virtually embodied 3D R3 robot can be created, and also its actions can be transferred to a physical embodied R3 robot. Other project is an android based application, which provide a survey and test environment to examine the quality of showed signs on Robots and simulator and by that means, can serve as a tool to compare and test the effects of different embodiments of the humanoid robots in sign language tutoring. It can be modified to collect data in other projects. The overall scenario includes three experiment modes. In first mode, TSL words are created in Roboive R3 simulator and played in 3D environment. Collisions on signs are seen and they are fixed to protect physical robot. Performed TSL words are saved as motion files. In second mode, saved files converted to Roboviemaker2 format which is proper to play on physical robot. Than these signs transferred to physical Robovie R3 robot and analysed to measure the success of Robovie R3 simulator. In last mode, performed signs are recorded on simulator environment and added to android based game environment. This game is played by hearing impaired primary school students which have advanced sign language skills. They solved the sign test and results are quite promising and motivate us for future studies.

Benzer Tezler

  1. Tez No

    444213

    Robot and avatar based interactive system for children's education

    Çocuk eğitimi için tasarlanmış robot ve avatar destekli etkileşimli sistem

    RABİA YORGANCI KINDIROĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HATİCE KÖSE

  2. Tez No

    350622

    Gesture imitation learning in human-robot interaction

    Taklit yolu ile hareket öğrenme ınsan robot etkileşimi

    ITAUMA ISONG ITAUMA

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. HATİCE KÖSE-BAĞCİ

  3. Tez No

    116743

    Resettlement of Balkan refugeesin İzmir during the late Ottoman period: A Survey on the urban and architectural properties of the planned district of Değirmendağı

    Osmanlının Geç Döneminde Balkan göçmenlerinin İzmir kentine yerleştirilmeleri: Planlı Değirmendağı bölgesinin kentsel ve mimari özellikleri üstüne bir araştırma

    ARZU TEMİZSOY

    Yüksek Lisans

    İngilizce

    İngilizce

    2002

    MimarlıkOrta Doğu Teknik Üniversitesi

    Mimarlık Tarihi Ana Bilim Dalı

    Y.DOÇ.DR. CANA BİLSEL

  4. Tez No

    892993

    Mimar Sinan sonrası (1588-1831) Osmanlı cami mimarisinde oran-orantı: İç mekân tasarımında strüktürel ögelerin estetik analizi

    Ratio-proportion in Ottoman mosque architecture after Mimar Sinan (1588-1831): Aesthetic analysis of structural elements in interior design

    ARİF ERDOĞAN

    Doktora

    Türkçe

    Türkçe

    2024

    MimarlıkMimar Sinan Güzel Sanatlar Üniversitesi

    Sanat Tarihi Ana Bilim Dalı

    DOÇ. DR. ŞÜKRÜ SÖNMEZER

  5. Tez No

    89744

    Reconstructing the political: A study on contemporary Alevi politics from a generative structuralist perspective

    Siyasi olanın yeniden inşası: Doğurgan yapısalcılığın bakış açısından günümüz Alevi siyaseti üzerine bir çalışma

    EMRAH GÖKER

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    Siyasal Bilimlerİhsan Doğramacı Bilkent Üniversitesi

    Siyaset Bilimi ve Kamu Yönetimi Ana Bilim Dalı

    YRD. DOÇ. DR. TAHİRE ERMAN

Geri Dön