Integrating sign language recognition and body posture gesture recognition in multimedia apps for inclusive interaction across international environments
Isaret dilini tanima ve beden entegrasyonu multimedya uygulamalari için hareket tanima uluslararasi düzeyde kapsayici etkilesim çevreler
- Tez No: 875302
- Danışmanlar: DR. LAVDIE RADA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Multimedya teknolojilerinin dinamik evrimi, dijital cihazlarla etkileşimi yeniden tanımladı. Özellikle sözlü ifadesi sınırlı olan bireyler için hayati önem taşıyan jest tanıma, dönüştürücü bir iletişim yöntemi olarak ortaya çıkıyor. Bu makale, işaret dili ve vücut duruşu jest tanımayı sorunsuz bir şekilde entegre eden multimedya uygulama geliştirmeye yönelik öncü bir yaklaşım sunmaktadır. Çok uluslu etkileşimlerde sözel olmayan iletişim için özel olarak tasarlanan önerilen sistem, çeşitli uluslararası barındırma ortamlarını ayırt etme ve yorumlama konusunda mükemmeldir. Bu yenilik, sözel olmayan ifadelere dayanan bireyler için iletişimi önemli ölçüde geliştirerek kapsayıcı teknolojide önemli bir ilerlemeye işaret etmektedir. Bu araştırma, kalabalık ortamlarda hareket tanıma tekniklerini içeren ve hızlı kitle iletişiminin önemini vurgulayan bir prototip multimedya uygulamasının tasarlanmasını ve uygulanmasını içermektedir. 200 kelime içeren Almanca, İngilizce, Arapça, Hintçe ve Türkçe videolardan özellik çıkarımı için Mediapipe bütünselliğini kullanan özelleştirme, el ve omuz arasındaki mesafeleri, parmak açılarını ve hareket sırasında parmak kullanımını hesaplamayı içerir. Özellik çıkarımları sıralı numpy dosyalarında (30 dizi) saklanır ve dili belirlemek için bir KNN algoritmasında kullanılır ve eğitimli bir CRNN sinir ağı ile 94 % kelime tahmin doğruluğu elde edilir.Ayrıca, Python Django uygulama altyapısı kullanılarak geliştirilen bir video konferans uygulaması, önerilen tekniği bünyesinde barındırarak iki yönlü iletişime olanak sağlamaktadır. Bu kapsamlı araştırma, farklı dilsel ve kültürel bağlamlarda kapsayıcı ve erişilebilir iletişimin ilerlemesine katkıda bulunmaktadır.
Özet (Çeviri)
The dynamic evolution of multimedia technologies has redefined interactions with digital devices. Gesture recognition, especially vital for individuals with limited verbal expression, emerges as a transformative communication method. This paper presents a pioneering approach to multimedia app development, seamlessly inte grating sign language and body posture gesture recognition. Tailored for non-verbal communication in multination interactions, the proposed system excels in discerning and interpreting diverse international hosting environments. This innovation significantly enhances communication for individuals relying on non-verbal expressions, marking a substantial advancement in in clusive technology. This research involves the designing and implementing of a prototype multimedia app incorporating gesture recognition techniques in crowd environments, empha sizing the importance of rapid audience communication. Utilizing the Mediapipe holistic for feature extraction from German, English, Arabic, Indian, and Turkish videos, each containing 200 words, customization in cludes calculating distances between hand and shoulder, finger angles, and finger usage during movement.When making predictions, numerical values are assigned to these extracted features and a weighted implementation is used in which the feature is assigned magnitude values in order of importance. Feature extractions are stored in sequential numpy files (30 sequences) and employed in a K-Nearest Neighbour algorithm to deter mine language, achieving a word prediction accuracy of 94% with a trained CRNN neural network. Additionally, a video conferencing application, developed using the Python Django web framework, embeds the proposed technique, enabling two-way communication. This com prehensive research contributes to the advancement of inclusive and accessible communication across diverse linguistic and cultural contexts.
Benzer Tezler
- Çizgisel kaynaktan ışıyan elektromağnetik dalgaların mükemmel iletken silindir takkesinden optik gibi saçılması
Başlık çevirisi yok
ADNAN GÖRÜR
Yüksek Lisans
Türkçe
1986
Makine MühendisliğiUludağ ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DOÇ.DR. H. ERGUN BAYRAKÇI