İşaret dili hareketlerinin bir insansı robot tarafından taklit yoluyla gerçeklenmesi ve öğrenilmesi
Learning&implementation of sign language gestures by imitation in a humanoid robot
- Tez No: 335802
- Danışmanlar: YRD. DOÇ. DR. HATİCE KÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 111
Özet
Yaptımız bu çalışma, işitme engelli kişilere işaret dilinin öğretilmesinde insansı robotların kullanımının yaygınlaşmasını hedeflemektedir. Çalışmada el ve parmaklara sahip olması açısından pek çok Türk İsaret Dili (TİD) kelimesini gerçekleyen H-25 Nao robot kullanılmıştır. İsaret dili hareketlerini gerçekleme için insan hareketleri sırasında insan iskelet yapısının eklem pozisyon bilgilerini kayıt edebilme özelliğine sahip Microsoft Kinect algılayıcısı kullanılmıştır. Makine öğrenmesi metodları kullanılarak tanıma çalışmaları yapılmıştır. İsaret dili hareketlerinin ve temel vücut hareketlerinin modellenmesi ve gerçeklenmesi için iki olasılıksal method gösterilmiş bu modellerden elde edilen sonuçlar insansı robot kullanılarak gerçeklenmiştir. İlk metot gauss karışım modeli ile(GKM) hareketin önemli özellikleri çıkartılmıştır. İkinci olarak Gauss karışım regresyonu (GKR) kullanılarak hareketin genelleştirilmiş yörünge formu elde edilmiştir. Son olarak regresyondan elde edilen hareket yörüngesi choregraph benzetim programı kullanılarak NAO insansı robot üzerinde gerçeklenmiş ve insan hareketine yakın bir hareketlerin taklit edildiği görülmüştür.
Özet (Çeviri)
This study aims to spread the use of humanoid robots in teaching sign language to hearing impaired people. A child-sized nao humanoid robot which perform various elementary signs (currently basic upper torso gestures and words from sign languages) so as to assist teaching these signs to children with communication problems is used. To track the sign language gestures, Microsoft Kinect that has a ability to record the structure of the human skeletal joints position information is used. For modeling and implementation of ?ve different sign language gestures are shown in two probabilistic method, Gaussian Mixture Model and Gaussian Mixture Regression (GMM, GMR). The results from these models are performed on a humanoid robot. Using the ?rst method (GMM), important features of the gestures are extracted. Secondly, generalized trajectory was retrieved by gaussian mixture regression (GMR). Finally, the reproduction of the gesture trajectory is implemented on virtual Nao humanoid robot using the Chorégraphe simulation environment and tested that humanoid robot is imitating the gestures well according to human gestures.
Benzer Tezler
- Assistant humanoid robots for sign language tutoring
İnsansı robot destekli işaret dili öğretimi
NEZİHA AKALIN
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE
- Gesture recognition for humanoid robot assisted interactive sign language tutoring
İnsansı robot destekli etkileşimli işaret dili eğitimi için işaret tanıma
BEKİR SITKI ERTUĞRUL
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE
- Gesture imitation learning in human-robot interaction
Taklit yolu ile hareket öğrenme ınsan robot etkileşimi
ITAUMA ISONG ITAUMA
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE-BAĞCİ
- Transfer learning based facial emotion recognition and action unit detection
Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti
SÜLEYMAN ENGİN BAĞLAYİCİ
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE