Derin öğrenme yöntemleri kullanarak etkin ayrık işaret dili tanıma sistemi geliştirme
Development of an efficient isolated sign language recognition system based on deep learning methods
- Tez No: 663634
- Danışmanlar: DOÇ. DR. HACER YALIM KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Makine öğrenmesi, Deep learning, Machine learning
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Video akışlarından ayrık işaret tanıma, yerel ve küresel el özelliklerinin ve yüz hareketlerinin aynı anda değerlendirilmesi gereken işaretlerin çok modelli doğası nedeni ile zor bir problemdir. Bunlara ek olarak bilgisayarlı görüdeki aydınlatma ve arka plandaki değişiklikler gibi temel sorunlar da eklenmektedir. Bu sorun son zamanlarda derin Evrişimli Sinir Ağı (CNN) tabanlı özellikler ve Uzun Kısa Süreli Bellek (LSTM) tabanlı derin dizi modelleri kullanılarak geniş çapta incelenmiştir. Fakat, mevcut literatürde derin öznitelikleri kullanan Gizli Markov Modelleri (HMM) ile yapılmış deneysel inceleme eksikliği bulunmaktadır. Bu çalışmada işaretlere ait RGB ve derinlik videolarından paralel öznitelik çıkarmak için kullanılan bir Siyam Sinir Ağı (SNN) mimarisi kurgulanmış ve bundan elde edilen sonuçlardan yararlanılarak modelde geliştirme yapılarak ikinci bir model tasarlanmıştır ve sonrasında bu düşük başarım gösteren model iyileştirilmiştir. Bu yapıların eğitimi için üzerinde çok az ön işlem uygulanmış veriler kullarnılarak modelin en az ön işlem ile öğrenmesi sağlanmıştır. Bu sayede hem yüksek başarımlı hem de az işlem gücü gerektiren bir model oluşturulmuştur. Bunlara ek olarak HMM modelleri ile yapılmış değerlendirme eksikliğinin giderilmesi ve işaret dili tanıma problemi için farklı modellerin geliştirilmesine yardımcı olacak model geliştirme aracı oluşturulmuştur. Bu çalışmanın sonucunda HMM modelleri ile çalışılır iken derin özniteliklerin boyutlarının genellikle çok büyük gelmesi sorununa yönelik bu özniteliklerin etkin bir şekilde küçültülmesini sağlayan iki farklı CNN tabanlı mimari önerilmiştir. Derin özniteliklerle yapılan analizler ile HMM yönteminin ayrık işaret tanıma problemi için derin dizi modellerine iyi bir alternatif olarak kullanılabileceği gösterilmiştir.
Özet (Çeviri)
Isolated Sign Recognition from video streams is a hard problem due to the multimodal nature of signs where local and global hand features and facial movements needs to be attended simultaneously. Additionally, Fundamental issues such as illumination and background changes in computer vision are hardening. This problem has been extensively studied using deep Convolutional Neural Network (CNN) based features and Long Short-Term Memory (LSTM) based deep sequence models. However, there is a lack of empirical analysis in the current literature with Hidden Markov Models (HMM) using deep features. In this study, a Siamese Neural Network (SNN) architecture, which is used to extract attributes from RGB and depth videos of the signs parallelly, has been constructed and with the use of the obtained results, a second model is designed to improve lower model. On training of the models, minimal preprocess is applied to the data to be able to generate models with both high performance and low processing power. In addition to these, a framework is created to help developing different models for the problem and HMM models are trained to eliminate the lack of experimental evaluation of HMMs with it. As a result of this study, two different CNN-based architectures have been proposed for the problem that the dimensions of deep features are often too large when working with HMM models. It has been shown that the HMM method can be used as a good alternative to deep array models for discrete signal recognition problem with the analysis made with deep features.
Benzer Tezler
- Transfer learning based facial emotion recognition and action unit detection
Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti
SÜLEYMAN ENGİN BAĞLAYİCİ
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Facial expression analysis foran online usability evaluation platform
Çevrimiçi kullanılabilirlik değerlendirme platformu için yüz ifadesi analizi
ALİ AZMOUDEH
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Türkiye'de aile planlaması çalışmalarında erkeklerin önemi, hastane personeli ile fabrika işçilerinin doğum kontrol yöntemlerine karşı tutum ve davranranışlarında farklılığın araştırılması
Başlık çevirisi yok
KAMİL MALKOÇLU
Yüksek Lisans
Türkçe
1987
Demografiİstanbul ÜniversitesiAile Sağlığı Ana Bilim Dalı
DOÇ. DR. DERİN KÖSEBAY
- Değişik derim zamanı ve önsoğutmanın Bursa siyahı incir çeşidinin meyve kalitesi ve pazarlama süresi üzerine etkileri
Effects of haruest time and precooling on fruit quality and shelf-life of the fig variety“Bursa siyahı”
FÜSUN GÜRSEL ÇELİKEL
- Tekstil boyamacılığında atık flottede boyama imkanları üzerine araştırma
Başlık çevirisi yok
MEHMET YAKARTEPE
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. KERİM DURAN