Human-computer interaction platform for the hearing impaired in healthcare and finance applications
Sağlık ve finans uygulamalarında işitme engellilerin işaret dili ile bilgisayar etkileşim platformu
- Tez No: 433934
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 91
Özet
Bu tezde, işitme engellilerin hastane ve bankalarda kullanmaları amacıyla tasarlanmış bir insan-bilgisayar etkileşim platformu önerilmektedir. Söz konusu sistemin geliştirilmesi için öncelikle sağlık ve finans alanlarında işaretler içerin BosphorusSign Türk İşaret Dili veritabanı toplanmıştır. Veritabanı için dil bilimcilere, Türk İşaret Dili kullanıcılarına ve ilgili alanların uzmanlarına danışılmıştır. Toplanan veritabanının bir alt kümesi kullanılarak hastanelerde işitme engellilerin iletişimine yardımcı olacak HospiSign sistemi tasarlanmıştır. HospiSign platformu kullanıcılarına önceden belirlenmiş soruları ve bu sorulara verebileceği cevapları sunarak, ağaç tabanlı bir etkinlik diyagramı ile kullanıcıları yönlendirmektedir. HospiSign'a cevap olarak verilen işaretleri tanıyabilmek için ellerin şeklini, pozisyonunu, hareketini, ve üst vücudun duruşunu niteleyen öznitelikler kullanılmıştır. İşaretlerin zamansal özellikleri Dinamik Zaman Bükmesi ve Zamansal Şablonlar kullanılarak modellenmiştir. İşaretler k-En Yakın Komşu algoritması ve Rassal Karar Ormanları kullanılarak sınıflandırılmaktadır. Sistemin öznitelik, zamansal modelleme ve sınıflandırma yönlerinden değerlendirilmesi için BosphorusSign veritabanının bir alt kümesinde deneyler yapılmıştır. Deneyler sonucunda ellerin pozisyonu ve hareketini niteleyen özniteliklerin birlikte kulanımının en yüksek başarımı verdiği görülmüştür. Farklı zamansal modelleme ve sınıflandırma yaklaşımlarından ise birbirlerine yakın başarımlar elde edilmiştir. Yapılan deneyler sonucunda ağaç tabanlı etkinlik diyagramı kullanımının sistem başarımını arttırmanın yanı sıra kullanıcı adaptasyonunu da hızlandırdığı görülmüştür. Bu çalışmalara ek olarak, alan uyarlama ve yüzel nirengi noktası bulma yöntemleri incelenmiş, ve işaret dili ve işmar tanıma problemleri için kullanılabilirlikleri sınanmıştır.
Özet (Çeviri)
In this thesis, we propose a human-computer interaction platform for the hearing impaired, that would be used in hospitals and banks. In order to develop such a system, we collected BosphorusSign, a Turkish Sign Language corpus in health and finance domains, by consulting sign language linguists, native users and domain specialists. Using a subset of the collected corpus, we have designed a prototype system, which we called HospiSign, that is aimed to help the Deaf in their hospital visits. The HospiSign platform guides its users through a tree-based activity diagram by asking specific questions and requiring the users to answer from the given options. In order to recognize signs that are given as answers to the interaction platform, we proposed using hand position, hand shape, hand movement and upper body pose features to represent signs. To model the temporal aspect of the signs we used Dynamic Time Warping and Temporal Templates. The classification of the signs are done using k-Nearest Neighbors and Random Decision Forest classifiers. We conducted experiments on a subset of BosphorusSign and evaluated the effectiveness of the system in terms of features, temporal modeling techniques and classification methods. In our experiments, the combination of hand position and hand movement features yielded the highest recognition performance while both of the temporal modeling and classification methods gave competitive results. Moreover, we investigated the effects of using a tree-based activity diagram and found the approach to not only increase the recognition performance, but also ease the adaptation of the users to the system. Furthermore, we investigated domain adaptation and facial landmark localization techniques and examined their applicability to the gesture and sign language recognition tasks.
Benzer Tezler
- Social behavior learning for an assistive companion robot
Yardımcı robotlar için sosyal davranış öğrenimi
PINAR ULUER
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- DA4HI: A deep learning framework for facial emotion recognition in affective systems for children with hearing impairments.
DA4HI: İşitme engelli çocuklar için duyuşsal sistemlerde yüzdeki duyguların tanınması maksadıyla geliştirilen derin öğrenme modeli.
CEMAL GÜRPINAR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
PROF. DR. NAFİZ ARICA
- Yazılı Türkçe dilinden Türk işaret diline (tid) makine çevirisi sistemi
Text to sign language machine translation system for Turkish
CİHAT ERYİĞİT
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Spatial audio localization as a gameplay element: Design, development, and evaluation of an audio-based virtual reality game
Oyun ögesi olarak uzamsal ses lokalizasyonu: Sese dayalı bir sanal gerçeklik oyununun tasarımı, geliştirilmesi ve analizi
ECE NAZ SEFERCİOĞLU
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE