Development of an end-to-end sign language hand gesture recognition system using novel deep learning methods
Yeni derin öğrenme yöntemleri kullanılarak uçtan uca bir işaret dili el hareketi tanıma sisteminin geliştirilmesi
- Tez No: 970085
- Danışmanlar: PROF. DR. HÜSEYİN CANBOLAT
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Bilgisayar destekli mühendislik, Yapay zeka ve makine öğrenmesi dersi, İnsan bilgisayar etkileşimi, Computer aided engineering, Artificial intelligence and machine learning course, Human computer interaction
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik ve Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İşaret dilleri, işitme engelli bireyler için temel iletişim aracıdır. Bu bireylerin işaret dili bilmeyen kişilerle iletişim kurarken karşılaştıkları zorluklar, işaret dilini destekleyen sistemlerin geliştirilmesini gerekli kılmaktadır. Bu doğrultuda, bu çalışma Yapay Zekâ (YZ) alanındaki gelişmelerden yararlanarak İnsan-Bilgisayar Etkileşimi Tabanlı İşaret Dili Tanıma Sistemi (HCISLRS) geliştirmeyi amaçlamaktadır. Araştırma, dört bütünleşik aşamadan oluşmaktadır. Bunlar yeni bir işaret dili sistemi grafiksel kullanıcı arayüzü (G-SLS) tasarımı ve önerilen bir bölütleme yöntemi, yeni bir veri kümesi olarak Türk İşaret Dili Alfabesi (TSLA) oluşturulması, yenilikçi öğrenme yöntemlerinin geliştirilmesi ve sistemin gerçek zamanlı olarak test edilmesi içerir. G-SLS görüntülerdeki görüntülerdeki nesneleri, özellikle elleri tespit etmek amacıyla birleştirilmiş bölütleme teknikleri kullanmaktadır. G-SLS içinde kullanılan bu yöntem, hem veri kümesi oluşturma sürecini hem de el hareketlerini tanımayı desteklemektedir. Bu işlemin ardından TSLA için örnekler içeren bir veri kümesi derlenmiştir. Veri kümesi; sınıf dağılımı, jest türleri, arka plan, kamera uzaklığı ve ışık koşulları açısından dengesizlikler içermekte olup, bu çeşitlilik veri kümesinin gerçek dünya uygulamaları için değerini artırmaktadır. Devamında, TSLA ağları (TSLAnets) ve Türk İşaret Dili Alfabesi Görüntü Aktarıcı (ViTSLA) adlı yenilikçi derin öğrenme yöntemleri geliştirilmiştir. Bu yöntemler, çeşitli veri kümesi sınıflarında yüksek başarı elde ederek çeşitli değerlendirme ölçütlerine göre üstün performans göstermiştir. Geliştirilen yöntemler, mevcut derin öğrenme mimarileri ve önceki çalışmalarla kapsamlı biçimde karşılaştırılmıştır. Ayrıca, genellenebilirliği değerlendirmek amacıyla dış veri kümeleri üzerinde de test edilmiştir. Bu sayede, yöntemlerin yalnızca belirli veri kümelerine özgü kalmayıp farklı veri dağılımlarında da tutarlı sonuçlar verdiği ortaya konmuştur. Yapılan karşılaştırmalar, önerilen yöntemlerin yüksek doğruluk, daha hızlı hesaplama süresi ve daha az parametre kullanımı ile mevcut modellere kıyasla üstün performans sunduğunu doğrulamaktadır.
Özet (Çeviri)
Sign languages serve as the primary communication tools for individuals with hearing impairments. Developing systems to support these languages is essential due to the challenges such individuals face when interacting with people who are not proficient in sign language (SL). To address this, the present study leverages advancements in Artificial Intelligence (AI). The research involves four integrated phases to develop a Human–Computer Interaction-Based Sign Language Recognition System (HCISLRS). These phases include designing a novel graphical user interface for Sign Language System (G-SLS) with a proposed segmentation method, creating a new dataset for Turkish Sign Language Alphabet (TSLA), developing innovative learning methods, and testing the system in real time. G-SLS uses combined segmentation techniques to detect objects, specifically hands, in images. This method, employed in G-SLS, supports both dataset creation and hand gesture recognition. Following this, a dataset comprising visual samples of TSLA is compiled. The dataset is imbalanced, introducing variations in class distribution, gesture types, backgrounds, user-to-camera distances, and lighting conditions. These variations contribute to the dataset's complexity and enhance its relevance for real-world applications. Subsequently, this research also develops novel deep learning methods: TSLA networks (TSLAnets) and Vision Transformer of Turkish Sign Language Alphabet (ViTSLA). These methods demonstrate high performance across multiple evaluation metrics on various dataset classes. Moreover, a comprehensive comparison is conducted between the different developed methods, established deep learning architectures, and models from previous studies. To assess the generalization ability of the proposed methods, they are also evaluated on external datasets. This ensures that the performance is not dataset-specific but consistent across different data distributions. These comparisons affirm the effectiveness of the innovative methods, demonstrating superior performance measures, faster computation, and fewer parameters compared to other models.
Benzer Tezler
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
- Pulmoner hipertansiyon etyopatogenezinde prostasiklin ve lökotrien C4'ün rolü
Possible role of leukotrien C4 and prostacyclin in the development of pulmonary hypertension
ÜLKÜ AYBERK
- Kurbağa gastrik mukozasında K-H ATPaz enziminin kinetik özellikleri ve oluşturulan ülser modelinde enzim aktivitesi
Başlık çevirisi yok
SEYHAN TÜKEL
