İşitme engelli bireylerle iletişimde IMU ve sEMG sensör verilerini kullanacak bir sistem geliştirilmesi
Development of a system to use IMU and sEMG sensor data in communication with hearing impaired individuals
- Tez No: 849735
- Danışmanlar: DOÇ. DR. İLHAN UMUT
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Trakya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 146
Özet
Bilişim teknolojileri, işitme engelli bireylerin toplumun diğer bireyleri ile iletişimini sağlamada etkin bir şekilde kullanılabileceğini düşünerek bu çalışma planlanmıştır. Bu amaçla, kişinin yaşam kalitesini düşürmeden kullanabileceği İşaret Dili'ndeki (İD) kelimelerin iki kol ile tanınması sağlayan özgün bir yazılım gerçekleştirilmiştir. Literatürde farklı teknolojiler (kamera, kol bandı ve eldiven gibi) kullanan işaret dili tanıma sistemleri geliştirilmiştir. Fakat yapılan çalışmaların çoğu, işitme engelli bireylerin günlük hayatta kullanabileceği pratik bir çözüm olmak yerine daha çok teoride kalmaktadır. Geliştirilen sistem, tipik görme tabanlı sistemler yerine iki kolun yüzey elektromiyografisini (sEMG) ve atalet ölçüm birimi (IMU) verilerini kullanmaktadır. Çalışmaya özgü dijital sinyal işleme ve makine öğrenmesi yöntemlerini kullanan, farklı işletim sistemlerinde (Android,Windows) çalışabilen bir yazılım geliştirilmiştir. Yazılım Myo Armband SDK'sını kullanmak yerine kendi Bluetooth servislerini kullanarak hem daha performanslı çalışmakta ve hem de cihaza özel dongle gereksinim duymamaktadır. Her işaret için sabit bir süre yerine, hareketi tespit ederek daha akıcı ve gerçek zamanlı bir iletişime olanak sağlar. Test için günlük hayatta kullanılma sıklığı dikkate alınarak belirlenen 80 kelimeden oluşan veri seti oluşturulmuştur. Önerilen sistem için kapsamlı bir öznitelik çıkarma işlemi gerçekleştirilmiştir. Tanıma performansı farklı sınıflandırıcılar ve parametreler ile test edilmiş ve sonuçlar karşılaştırılmıştır. Önerilen sistemin geçerliliğini ve elde edilen sonuçların doğruluğunu test etmek için 10 kat çapraz doğrulama yöntemi kullanılmıştır. Farklı sınıflandırma yöntemleri ile yapılan eğitimlerin testleri sonucunda en yüksek başarıyı %99.88 doğrulukla RandomForest ve Ibk algoritmaları, en düşük başarıyı %89,75 doğrulukla J48 algoritması sağlamıştır. Odak gruba sunulan çalışma katılımcıların tamamı tarafından rahat, estetik ve kullanılabilir bulunmuştur. Bu çalışma ile geliştirilen sistemin engelli bireylerin hayatında büyük bir kolaylık sağlayacağı düşünülmektedir.
Özet (Çeviri)
This study was planned considering that information technologies can be used effectively to enable hearing impaired individuals to communicate with other members of the society. For this purpose, a unique software that enables the recognition of words in Sign Language (SL) with two arms, which can be used without reducing the quality of life of the person, has been realized. Sign language recognition systems using different technologies (such as cameras, armbands and gloves) have been developed in the literature. However, most of the studies remain in theory rather than being a practical solution that hearing impaired individuals can use in daily life. The developed system uses surface electromyography (sEMG) and inertial measurement unit (IMU) data of two arms instead of typical vision-based systems. A software that can run on different operating systems (Android, Windows) using digital signal processing and machine learning methods specific to the study has been developed. Instead of using the Myo Armband SDK, the software uses its own Bluetooth services for better performance and does not require a device-specific dongle. It enables smoother and real-time communication by detecting motion instead of a fixed time for each signal. For the test, a dataset consisting of 80 words determined by considering the frequency of use in daily life was created. A comprehensive feature extraction process was performed for the proposed system. The recognition performance is tested with different classifiers and parameters and the results are compared. To test the validity of the proposed system and the accuracy of the obtained results, 10-fold cross validation method is used. As a result of the tests of training with different classification methods, RandomForest and Ibk algorithms achieved the highest success with 99.88% accuracy, while J48 algorithm achieved the lowest success with 89.75% accuracy. The study presented to the focus group was found comfortable, aesthetic and usable by all participants. It is thought that the system developed with this study will provide a great convenience in the lives of disabled individuals.
Benzer Tezler
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Üç boyutlu sanal model ile Türk işaret dili simülasyonu
Turkish sign language simulation with three-dimensional virtual model
MEHMET FATİH KARACA
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ŞAFAK BAYIR
- Türkiye Radyo Televizyon Kurumu, TRT-2 kanalı gece bülteninde işitme engelli bireylerin haber almalarını sağlamak amacıyla yayınlanan işaret destekli haberleri, total işitme engelli yetişkin bireylerin izleme durumu ve anlama düzeyleri
The televiewing ratings and the level of the understanding of the news aided with signs used to ensure the hearing impaired individuals to get news, which is in the nights bulletin of the TRT chanell 2 of the Turkish Radio and Television enstitution, by the totally hearing impaired individuals
ÜLKÜ AKÇA
Yüksek Lisans
Türkçe
1999
Eğitim ve ÖğretimAbant İzzet Baysal ÜniversitesiÖzel Eğitim Bilim Dalı
YRD. DOÇ. DR. ATTİLA TAZEBAY
- Üniversite mezunu ve işitme engelli olan ve olmayan bireylerin yükseköğretim eğitim programlarındaki Türk İşaret Dili eğitimine ilişkin görüşlerin değerlendirilmesi
Evaluation of the opinions of university graduates with and without hearing impairment on Turkish Sign Language education in higher education programmes
EDA CEYLAN
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimÇankırı Karatekin ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ADEM ÇİLEK
- Pandemi döneminde işitme engelli çocukların iletişim süreçlerinin belirlenmesi: Nitel bir analiz
Determining the communication processes or hearing-impaired children during the pandemic period: A qualitative analysis
MEHMET AKİF DAMAR
Yüksek Lisans
Türkçe
2023
Halkla İlişkilerEge ÜniversitesiHalkla İlişkiler ve Tanıtım Ana Bilim Dalı
PROF. DR. AYŞEN TEMEL EGİNLİ