Development of an end-to-end sign language hand gesture recognition system using novel deep learning methods
Yeni derin öğrenme yöntemleri kullanılarak uçtan uca bir işaret dili el hareketi tanıma sisteminin geliştirilmesi
- Tez No: 970085
- Danışmanlar: PROF. DR. HÜSEYİN CANBOLAT
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Bilgisayar destekli mühendislik, Yapay zeka ve makine öğrenmesi dersi, İnsan bilgisayar etkileşimi, Computer aided engineering, Artificial intelligence and machine learning course, Human computer interaction
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik ve Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İşaret dilleri, işitme engelli bireyler için temel iletişim aracıdır. Bu bireylerin işaret dili bilmeyen kişilerle iletişim kurarken karşılaştıkları zorluklar, işaret dilini destekleyen sistemlerin geliştirilmesini gerekli kılmaktadır. Bu doğrultuda, bu çalışma Yapay Zekâ (YZ) alanındaki gelişmelerden yararlanarak İnsan-Bilgisayar Etkileşimi Tabanlı İşaret Dili Tanıma Sistemi (HCISLRS) geliştirmeyi amaçlamaktadır. Araştırma, dört bütünleşik aşamadan oluşmaktadır. Bunlar yeni bir işaret dili sistemi grafiksel kullanıcı arayüzü (G-SLS) tasarımı ve önerilen bir bölütleme yöntemi, yeni bir veri kümesi olarak Türk İşaret Dili Alfabesi (TSLA) oluşturulması, yenilikçi öğrenme yöntemlerinin geliştirilmesi ve sistemin gerçek zamanlı olarak test edilmesi içerir. G-SLS görüntülerdeki görüntülerdeki nesneleri, özellikle elleri tespit etmek amacıyla birleştirilmiş bölütleme teknikleri kullanmaktadır. G-SLS içinde kullanılan bu yöntem, hem veri kümesi oluşturma sürecini hem de el hareketlerini tanımayı desteklemektedir. Bu işlemin ardından TSLA için örnekler içeren bir veri kümesi derlenmiştir. Veri kümesi; sınıf dağılımı, jest türleri, arka plan, kamera uzaklığı ve ışık koşulları açısından dengesizlikler içermekte olup, bu çeşitlilik veri kümesinin gerçek dünya uygulamaları için değerini artırmaktadır. Devamında, TSLA ağları (TSLAnets) ve Türk İşaret Dili Alfabesi Görüntü Aktarıcı (ViTSLA) adlı yenilikçi derin öğrenme yöntemleri geliştirilmiştir. Bu yöntemler, çeşitli veri kümesi sınıflarında yüksek başarı elde ederek çeşitli değerlendirme ölçütlerine göre üstün performans göstermiştir. Geliştirilen yöntemler, mevcut derin öğrenme mimarileri ve önceki çalışmalarla kapsamlı biçimde karşılaştırılmıştır. Ayrıca, genellenebilirliği değerlendirmek amacıyla dış veri kümeleri üzerinde de test edilmiştir. Bu sayede, yöntemlerin yalnızca belirli veri kümelerine özgü kalmayıp farklı veri dağılımlarında da tutarlı sonuçlar verdiği ortaya konmuştur. Yapılan karşılaştırmalar, önerilen yöntemlerin yüksek doğruluk, daha hızlı hesaplama süresi ve daha az parametre kullanımı ile mevcut modellere kıyasla üstün performans sunduğunu doğrulamaktadır.
Özet (Çeviri)
Sign languages serve as the primary communication tools for individuals with hearing impairments. Developing systems to support these languages is essential due to the challenges such individuals face when interacting with people who are not proficient in sign language (SL). To address this, the present study leverages advancements in Artificial Intelligence (AI). The research involves four integrated phases to develop a Human–Computer Interaction-Based Sign Language Recognition System (HCISLRS). These phases include designing a novel graphical user interface for Sign Language System (G-SLS) with a proposed segmentation method, creating a new dataset for Turkish Sign Language Alphabet (TSLA), developing innovative learning methods, and testing the system in real time. G-SLS uses combined segmentation techniques to detect objects, specifically hands, in images. This method, employed in G-SLS, supports both dataset creation and hand gesture recognition. Following this, a dataset comprising visual samples of TSLA is compiled. The dataset is imbalanced, introducing variations in class distribution, gesture types, backgrounds, user-to-camera distances, and lighting conditions. These variations contribute to the dataset's complexity and enhance its relevance for real-world applications. Subsequently, this research also develops novel deep learning methods: TSLA networks (TSLAnets) and Vision Transformer of Turkish Sign Language Alphabet (ViTSLA). These methods demonstrate high performance across multiple evaluation metrics on various dataset classes. Moreover, a comprehensive comparison is conducted between the different developed methods, established deep learning architectures, and models from previous studies. To assess the generalization ability of the proposed methods, they are also evaluated on external datasets. This ensures that the performance is not dataset-specific but consistent across different data distributions. These comparisons affirm the effectiveness of the innovative methods, demonstrating superior performance measures, faster computation, and fewer parameters compared to other models.
Benzer Tezler
- FPGA üzerinde 5G uyumlu düşük yoğunluklu eşlik denetim kod çözücü gerçeklenmesi
Implementation of 5G compatible low density parity check decoder on FPGA
BARIŞ BİLGİLİ
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. SIDDIKA BERNA ÖRS YALÇIN
PROF. DR. ALİ EMRE PUSANE
- Larisa (Buruncuk) Akropolü'nü çevreleyen geç arkaik surlar
The late archaic acropolis circuit of Larisa (Buruncuk)
ERTUNÇ DENKTAŞ
Doktora
Türkçe
2024
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. NEJAT TURGUT SANER
PROF. DR. CHRİSTİNE BRUNS ÖZGAN
- Mehmet Reşat Aysu'nun müzikal kimliği ve seçilen saz eserlerinin keman tekniği açısından incelenmesi
Mehmet Reşat Aysu's musical identity and analysis of selected instrumental works in terms of violin technique
EREN CEMRE ERDEN
Yüksek Lisans
Türkçe
2024
Müzikİstanbul Teknik ÜniversitesiPerformans Ana Sanat Dalı
PROF. DR. ALİ CİHAT AŞKIN
- Sanal mimarlığın gerçeği
Başlık çevirisi yok
CEM YARDIMCI
Yüksek Lisans
Türkçe
1998
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. HÜLYA YÜREKLİ