Sign language recognition using dino and heatmap techniques
Dıno ve ısı haritası teknikleri ile işaret dili tanıma
- Tez No: 972001
- Danışmanlar: PROF. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Konuşma engelli insanlar iletişim kurmak için temel yöntem olarak işaret dillerini kullanmaktadırlar. Ancak işaret dilini öğrenmek, özellikle işaret dili bilmeyenler için önemli miktarda zaman ve çaba gerektirdiğinden zorlu olabilmektedir. Bu yöntemler işaret dili görüntülerindeki işaretçilerin yaptığı bireysel işaretleri tanımlamak ve ardından bu tanımlanan işaretleri konuşulan dil ifadelerine çevirmeyi amaçlamaktadır. İDT yaklaşımları, konuşma engelli toplum ile konuşma engeli bulunmayan kişiler arasındaki iletişim sorunlarının çözümüne yardımcı olmaktadır. Bu çalışmada, tanıma doğruluğunu artırmak için kendi kendine denetimli öğrenme yöntemi olan Etiketsiz Öz Damıtma ile ısı haritası tabanlı 3 boyutlu Evrişimsel Sinir Ağları (3B ESA) öznitelik çıkarma tekniklerini birleştiren bir yaklaşım tanıtılmıştır. Önerdiğimiz yaklaşımda, kendi kendine denetimli öğrenme yoluyla el ve yüz görsel ipuçlarını öğrenmeye odaklanmak için Etiketsiz Öz Damıtma yöntemi kullanılmıştır. Üst vücut duruşunu ve hareketini çıkarmak için ısı haritası tabanlı modelleme uygulanmıştır. Yaklaşım, el ve yüz ipucu işleme için önerilen CueSeqNet modelini ve eklem ve uzuv ısı haritalarını yorumlamak için ESA'ları uygulayan HeatPose2D/3D modelini içermektedir. Tanıtılan karma modelleme stratejisi CueHeat2D/3D, bu ipuçlarını daha iyi tanıma için birleştirmektedir. Bu tezde önerilen modeller yalıtılmış Türk İDT veri seti olan BosphorusSign22k veri seti ile test edilmiştir. Önerdiğimiz model %91.71 sınıflandırma başarımı elde etmiştir. Çalışmamız, yalıtılmış İDT alanında 3B ısı haritası ile birleştirilen kendi kendine denetimli öğrenme yaklaşımı olan Etiketsiz Öz Damıtma yönteminin rekabetçi sonuçlar verdiğini göstermektedir.
Özet (Çeviri)
Deaf people mainly use sign language as their primary method of communication. However, learning sign language can be challenging because it requires considerable time and effort, particularly for those with hearing ability. Sign Language Recognition (SLR) involves identifying and translating individual signs into corresponding spoken language words, known as glosses. SLR approaches help communication problems between the deaf and hearing communities. This study introduced an approach that combines self-supervised learning Distillation with No Labels (DINO) with heatmap-based 3-dimensional Convolutional Neural Network (3D CNN) cue representation techniques to improve recognition accuracy. The proposed approach uses DINO to focus on learning visual cues from hands and faces through self-supervised learning. Heatmap-based modeling is applied to extract upper body posture and movement. The approach includes the proposed CueSeqNet model for body part-specific cue processing and the proposed HeatPose2D/3D model, which applies CNNs to interpret joint and limb heatmaps. An introduced mixed modeling strategy, CueHeat2D/3D, combines these cues for improved recognition. We tested our models with the isolated Turkish SLR dataset BosphorusSign22k. The proposed model achieves 91.71% classification accuracy. Our study shows that self-supervised learning DINO with a 3D heatmap gives competitive results in isolated SLR.
Benzer Tezler
- Turkish sign language recognition using residual neural network
Artık sinir ağı kullanılarak Türk işaret dili tanıma
MUTLU GÜRELİ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOstim Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. OSMAN AKIN
DOÇ. DR. HACER YALIM KELEŞ
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Development of an end-to-end sign language hand gesture recognition system using novel deep learning methods
Yeni derin öğrenme yöntemleri kullanılarak uçtan uca bir işaret dili el hareketi tanıma sisteminin geliştirilmesi
AHMED KASAPBAŞI
Doktora
İngilizce
2025
Elektrik ve Elektronik MühendisliğiAnkara Yıldırım Beyazıt ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN CANBOLAT
- Kinect rgb görüntülerinde ve derinlik haritalarında uzam-zamansal özellikleri kullanarak işaret dili tanıma
Sign language recognition using spatio-temporal features on Kinect rgb video sequences and depth maps
ABBAS MEMİŞ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SONGÜL ALBAYRAK
- Derin öğrenme kullanarak işaret dili rakam tanıma
Sign language digit recognition using deep learning
HACER GÜLER
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT HÜSNÜ SAZLI