Integrating sign language recognition and body posture gesture recognition in multimedia apps for inclusive interaction across international environments
Isaret dilini tanima ve beden entegrasyonu multimedya uygulamalari için hareket tanima uluslararasi düzeyde kapsayici etkilesim çevreler
- Tez No: 875302
- Danışmanlar: DR. LAVDIE RADA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 50
Özet
Multimedya teknolojilerinin dinamik evrimi, dijital cihazlarla etkileşimi yeniden tanımladı. Özellikle sözlü ifadesi sınırlı olan bireyler için hayati önem taşıyan jest tanıma, dönüştürücü bir iletişim yöntemi olarak ortaya çıkıyor. Bu makale, işaret dili ve vücut duruşu jest tanımayı sorunsuz bir şekilde entegre eden multimedya uygulama geliştirmeye yönelik öncü bir yaklaşım sunmaktadır. Çok uluslu etkileşimlerde sözel olmayan iletişim için özel olarak tasarlanan önerilen sistem, çeşitli uluslararası barındırma ortamlarını ayırt etme ve yorumlama konusunda mükemmeldir. Bu yenilik, sözel olmayan ifadelere dayanan bireyler için iletişimi önemli ölçüde geliştirerek kapsayıcı teknolojide önemli bir ilerlemeye işaret etmektedir. Bu araştırma, kalabalık ortamlarda hareket tanıma tekniklerini içeren ve hızlı kitle iletişiminin önemini vurgulayan bir prototip multimedya uygulamasının tasarlanmasını ve uygulanmasını içermektedir. 200 kelime içeren Almanca, İngilizce, Arapça, Hintçe ve Türkçe videolardan özellik çıkarımı için Mediapipe bütünselliğini kullanan özelleştirme, el ve omuz arasındaki mesafeleri, parmak açılarını ve hareket sırasında parmak kullanımını hesaplamayı içerir. Özellik çıkarımları sıralı numpy dosyalarında (30 dizi) saklanır ve dili belirlemek için bir KNN algoritmasında kullanılır ve eğitimli bir CRNN sinir ağı ile 94 % kelime tahmin doğruluğu elde edilir.Ayrıca, Python Django uygulama altyapısı kullanılarak geliştirilen bir video konferans uygulaması, önerilen tekniği bünyesinde barındırarak iki yönlü iletişime olanak sağlamaktadır. Bu kapsamlı araştırma, farklı dilsel ve kültürel bağlamlarda kapsayıcı ve erişilebilir iletişimin ilerlemesine katkıda bulunmaktadır.
Özet (Çeviri)
The dynamic evolution of multimedia technologies has redefined interactions with digital devices. Gesture recognition, especially vital for individuals with limited verbal expression, emerges as a transformative communication method. This paper presents a pioneering approach to multimedia app development, seamlessly integrating sign language and body posture gesture recognition. Tailored for non-verbal communication in multination interactions, the proposed system excels in discerning and interpreting diverse international hosting environments. This innovation significantly enhances communication for individuals relying on non-verbal expressions, marking a substantial advancement in in clusive technology. This research involves the designing and implementing of a prototype multimedia app incorporating gesture recognition techniques in crowd environments, empha sizing the importance of rapid audience communication. Utilizing the Mediapipe holistic for feature extraction from German, English, Arabic, Indian, and Turkish videos, each containing 200 words, customization in cludes calculating distances between hand and shoulder, finger angles, and finger usage during movement.When making predictions, numerical values are assigned to these extracted features and a weighted implementation is used in which the feature is assigned magnitude values in order of importance. Feature extractions are stored in sequential numpy files (30 sequences) and employed in a K-Nearest Neighbour algorithm to deter mine language, achieving a word prediction accuracy of 94% with a trained CRNN neural network. Additionally, a video conferencing application, developed using the Python Django web framework, embeds the proposed technique, enabling two-way communication. This com prehensive research contributes to the advancement of inclusive and accessible communication across diverse linguistic and cultural contexts.
Benzer Tezler
- Evrişimsel sinir ağları kullanılarak video tabanlı izole işaret dili tanıma
Video-based isolated sign language recognition using convolutional neural networks
ALİ AKDAĞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖMER KAAN BAYKAN
- Hopfield modeli yapay sinir ağları ve uygulamları
Hopfield model neural networks and applications
HÜSEYİN ERBİLGİN
Yüksek Lisans
Türkçe
1993
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiDOÇ.DR. LEYLA GÖREN
- Computer vision based multi-lingual fingerspelling recognition
Bilgisayarla görme tabanlı çok dilli parmak alfabesi tanıma
AHMET ALP KINDIROĞLU
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. LALE AKARUN
- 3 boyutlu işaret dili avatarı destekli bilgi işlemsel düşünme becerisi envanterinin geliştirilmesi
Development of a 3-dimensional sign language avatar supported computational thinking skills inventory
NERİMAN TOKEL
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimTrabzon ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
PROF. DR. HASAN KARAL
- İşaret dili karakterlerinin karmaşık değerli sinir ağları ile tanınması
Recognition of sign language characters using complex-valued neural networks
SELDA BAYRAK
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. VASİF NABİYEV