Türkçe otomatik dudak okuma sistemi
Automatic lip reading in Turkish lenguage
- Tez No: 171109
- Danışmanlar: Y.DOÇ.DR. MEHMET GÖKTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2005
- Dil: Türkçe
- Üniversite: Gebze Yüksek Teknoloji Enstitüsü
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 32
Özet
ÖZET Teknolojideki ilerleme, otomatik konuşmayı anlama sistemlerinin Bilgisayar- İnsan Etkileşimi'nde yaygın bir şekilde kullanılmaya başlanmasına neden oldu. Bununla birlikte bu sistemler hala sıradan ortamlarda yetersiz kalmaktadır. Şu anki uygulamalar; ofis, açık hava gibi ortamlarda rastlanılan arkaplar gürültüsü veya birden fazla insanın aynı anda konuştuğu durumlara karşı çok hassastırlar. Bu durumun üstesinden gelmenin yollarından biri, konuşmayı anlama sistemlerinde insanların yaptığı gibi görsel bilgilerden yararlanmaktır. Araştırmalara göre insanların konuşmayı anlamasında görsel işaretler önemli rol oynamaktadır. Bu yüzden otomatik konuşmayı anlama sistemlerinde dudak okumadan da yararlanılması, bizi daha verimli Bilgisayar-İnsan Etkileşimi'ne bir adım daha yaklaştıracaktır. Bu projenin temel hedefi, Türkçe diline dayalı uygulanabilir bir dudak okuma sistemi oluşturmaktır. Türkçe dili için iki işitme engelli tarafından bir fonem-vaysem eşleşim tablosu hazırlanmış ve dudak biçimini çıkaran bir sistem oluşturularak, bu eşleşim tablosuyla birlikte, konuşmacının ne dediğini anlamaya çalışan bir uygulama oluşturulmaya çalışılmıştır.
Özet (Çeviri)
SUMMARY Advances in technology in recent years have led to a widespread use of automatic speech recognition (ASR) systems in Human-Computer Interaction (HCI). However, ASR systems still perform poorly, when it comes to real world applications. Most approaches are very sensitive to background noise or fail when more than one speaker talks simultaneously, as it often happens in offices, outdoors and other real world environments. One way of overcoming these limitations of audio-only ASR systems is to use the additional visual information of the act of speaking, just like humans do. Psycholinguistic research has found that visual cues like lip movements play an important role in speech understanding by humans. Thus, a lip reading system as part of an ASR system leads thus one step closer to more natural HCIs. The major aim of this project is to show a simple and applicable way of a“Lip Reading System”on Turkish Language. Two hard-of-hearing people have prepared a Turkish language phoneme-viseme mapping table. Some basic lip features are extracted. After that; these features and the mapping table are used as to find that what the speaker says.
Benzer Tezler
- Otomatik Türkçe dudak okuma için bilgisayarlı görü ve derin öğrenme modellerinin geliştirilmesi
Development of computer vision and deep learning models for automatic Turkish lip reading
FURKAN SABAZ
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÜMİT ATİLA
- The Turkish lip reading using deep learning method
Derin öğrenme yöntemi ile Türkçe dudak okuma
ALİ BERKOL
Doktora
İngilizce
2023
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMİT ERDEM
- Görüntüye dayalı dudak okuma uygulamalarında uzamsal dudak noktaları temelli yeni öznitelik yaklaşımları
New feature approaches based on spatial lip points in visual-based lip reading applications
HAMDULLAH TUNG
Yüksek Lisans
Türkçe
2021
Elektrik ve Elektronik MühendisliğiBatman ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RAMAZAN TEKİN
- Otomatik görüntü tabanlı dudak okuma yöntemi ile acil durum kelimelerinin tespiti
Detection of emergency words with automatic image-based lip reading method
BEYZA ÜLKÜMEN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKTO Karatay ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ ÖZTÜRK
- Curvelet dönüşümü kullanılarak Snake algoritması ile imgede kenar algılama
Image edge detection with Snake algorithm by using Curvelet transform
FATMA SABA AHISHALI
Yüksek Lisans
Türkçe
2012
Elektrik ve Elektronik MühendisliğiAtatürk ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. EMİN ARGUN ORAL