Sign language recognition with zero-shot learning
Sıfır-atış öğrenmesi ile işaret dili tanıma
- Tez No: 898101
- Danışmanlar: DOÇ. DR. EMRE SÜMER, DR. YUNUS CAN BİLGE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 69
Özet
İşaret dili, toplumun belirli bir kesimi için büyük önem taşımaktadır. İşaret Dili Tanımanın (SLR) makine öğrenmesi kullanılarak otomatikleştirilmesi, toplum kesimlerinin iletişimini kolaylaştırmak için çok önemlidir. Ancak, bu görev için gerekli olan etiketlenmiş verilerin oluşturulması oldukça zordur. Dahası, zaman içinde işaret dili kelimelerinin evrim geçirip anlamlarının değişmesi bu alanı daha da zor hale getirmektedir. Bu çalışma, Sıfır-Shot İşaret Dili Tanıma (ZSSLR) için yenilikçi bir yaklaşım sunmaktadır. İşaretçinin vücut verilerinden çıkarılan el ve landmark verileri kullanılarak, işaretçinin el ve vücudu modellenmiştir. Çıkarılan ve modellenen özniteliklerin bu amaç için hangisinin daha önemli olduğunu belirlemek amacıyla bir veri derecelendirme yöntemi uygulanmıştır. Sıfır-Shot Öğrenmede (ZSL), işaret dili videolarında yapılan hareketlerin tanımlarını içeren veri kümeleri kullanılmıştır. Sonuçlar, iki karşılaştırılabilir ZSL veri kümesinde test edilmiş ve ZSL ve Genel Sıfır-Shot Öğrenme (GZSL) ayarlarında gösterilmiştir.
Özet (Çeviri)
Sign language holds great importance for a specific segment of society. Automating Sign Language Recognition (SLR) using machine learning is crucial for facilitating communication between different segments of society. However, creating the necessary labeled data for this task is very challenging. Furthermore, the evolution and changing meanings of sign language words over time make this field even more difficult. This work presents a novel approach to Zero-Shot Sign Language Recognition (ZSSLR). Using hand and landmark data extracted from the signer's body data, the signer's hand and body have been modeled. To determine which of the extracted and modeled features are more important for this purpose, a data grading method was applied. In Zero-Shot Learning (ZSL), datasets containing descriptions of the movements in sign language videos were used. The results were tested on two benchmarkable ZSL datasets and demonstrated in ZSL and Generalized Zero-Shot Learning (GZSL) settings.
Benzer Tezler
- Sınırlı denetim ve anlamsal temsiller ile işaret dili öğrenimi
Learning sign languages with limited supervision and semantic representations
YUNUS CAN BİLGE
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Yinelemeli sinir ağları ile işaret dili tanıma
Sign language recognition with recurrent neural networks
İBRAHİM ÇETİNKAYA
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. TAMER ÖLMEZ
- Sign language recognition by image analysis
Görüntü işleme teknikleriyle işaret dili tanıma
BUKET BÜYÜKSARAÇ
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET METE BULUT
PROF. DR. GÖZDE AKAR
- A method for isolated sign recognition with Kinect
Kinect ile yalıtılmış işaret algılama için bir yöntem
EMRE IŞIKLIGİL
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SİNAN KALKAN