Derin öğrenme yöntemleri kullanarak etkin ayrık işaret dili tanıma sistemi geliştirme
Development of an efficient isolated sign language recognition system based on deep learning methods
- Tez No: 663634
- Danışmanlar: DOÇ. DR. HACER YALIM KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 70
Özet
Video akışlarından ayrık işaret tanıma, yerel ve küresel el özelliklerinin ve yüz hareketlerinin aynı anda değerlendirilmesi gereken işaretlerin çok modelli doğası nedeni ile zor bir problemdir. Bunlara ek olarak bilgisayarlı görüdeki aydınlatma ve arka plandaki değişiklikler gibi temel sorunlar da eklenmektedir. Bu sorun son zamanlarda derin Evrişimli Sinir Ağı (CNN) tabanlı özellikler ve Uzun Kısa Süreli Bellek (LSTM) tabanlı derin dizi modelleri kullanılarak geniş çapta incelenmiştir. Fakat, mevcut literatürde derin öznitelikleri kullanan Gizli Markov Modelleri (HMM) ile yapılmış deneysel inceleme eksikliği bulunmaktadır. Bu çalışmada işaretlere ait RGB ve derinlik videolarından paralel öznitelik çıkarmak için kullanılan bir Siyam Sinir Ağı (SNN) mimarisi kurgulanmış ve bundan elde edilen sonuçlardan yararlanılarak modelde geliştirme yapılarak ikinci bir model tasarlanmıştır ve sonrasında bu düşük başarım gösteren model iyileştirilmiştir. Bu yapıların eğitimi için üzerinde çok az ön işlem uygulanmış veriler kullarnılarak modelin en az ön işlem ile öğrenmesi sağlanmıştır. Bu sayede hem yüksek başarımlı hem de az işlem gücü gerektiren bir model oluşturulmuştur. Bunlara ek olarak HMM modelleri ile yapılmış değerlendirme eksikliğinin giderilmesi ve işaret dili tanıma problemi için farklı modellerin geliştirilmesine yardımcı olacak model geliştirme aracı oluşturulmuştur. Bu çalışmanın sonucunda HMM modelleri ile çalışılır iken derin özniteliklerin boyutlarının genellikle çok büyük gelmesi sorununa yönelik bu özniteliklerin etkin bir şekilde küçültülmesini sağlayan iki farklı CNN tabanlı mimari önerilmiştir. Derin özniteliklerle yapılan analizler ile HMM yönteminin ayrık işaret tanıma problemi için derin dizi modellerine iyi bir alternatif olarak kullanılabileceği gösterilmiştir.
Özet (Çeviri)
Isolated Sign Recognition from video streams is a hard problem due to the multimodal nature of signs where local and global hand features and facial movements needs to be attended simultaneously. Additionally, Fundamental issues such as illumination and background changes in computer vision are hardening. This problem has been extensively studied using deep Convolutional Neural Network (CNN) based features and Long Short-Term Memory (LSTM) based deep sequence models. However, there is a lack of empirical analysis in the current literature with Hidden Markov Models (HMM) using deep features. In this study, a Siamese Neural Network (SNN) architecture, which is used to extract attributes from RGB and depth videos of the signs parallelly, has been constructed and with the use of the obtained results, a second model is designed to improve lower model. On training of the models, minimal preprocess is applied to the data to be able to generate models with both high performance and low processing power. In addition to these, a framework is created to help developing different models for the problem and HMM models are trained to eliminate the lack of experimental evaluation of HMMs with it. As a result of this study, two different CNN-based architectures have been proposed for the problem that the dimensions of deep features are often too large when working with HMM models. It has been shown that the HMM method can be used as a good alternative to deep array models for discrete signal recognition problem with the analysis made with deep features.
Benzer Tezler
- Transfer learning based facial emotion recognition and action unit detection
Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti
SÜLEYMAN ENGİN BAĞLAYİCİ
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Machine-learning approaches for neurological disorder diagnosis from genomic and neuroimaging data
Genomik ve nörogörüntüleme verilerinden nörolojik bozukluk teşhisi için makine öğrenmesi yaklaşımları
İSMAİL BİLGEN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Derin öğrenme ile modülasyon sınıflandırması
Modulation classification with deep learning
SELÇUK BALSÜZEN
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MESUT KARTAL
- Bir ve iki boyutlu biyomedikal işaretlerin DCT tabanlı analizi
DCT based analysis of 1D and 2D biomedical signal
FATMA DEMİREZEN YAĞMUR
Doktora
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-CerrahpaşaBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET SERTBAŞ
- Makine öğrenmesi ve derin öğrenme yöntemleri ile dizel motor turbo kompresör sisteminin modellenmesi
Modeling of diesel engine turbo compressor system with machine learning and deep learning methods
YUSUF CAN
Yüksek Lisans
Türkçe
2020
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. METİN GÖKAŞAN