Geri Dön

Recognition of speech from human lip mation

İnsan dudak hareketinden konuşma tanıma

  1. Tez No: 82511
  2. Yazar: CANAN BALCI
  3. Danışmanlar: PROF. DR. METE SEVERCAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Dudak Okuma, Görsel Ses Tanıyım, Fourier Tanımlayıcılar, Ayrık Kosinüs Dönüşümü, Yalıtılmış Sözcük Tanıma, Saklı Markov Model. vı, Lip-Reading, Visual Speech Recognition, Fourier Descriptors, Discrete Cosine Transform, Isolated Word Recognition, Hidden Markov Model IV
  7. Yıl: 1999
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 63

Özet

oz İNSAN DUDAK HAREKETİNDEN KONUŞMA TANIMA Balcı, Canan Yüksek Lisans, Elektrik ve Elektronik Mühendisliği Bölümü Tez Yöneticisi: Prof. Dr. Mete Severcan Haziran, 1999, 63 sayfa Yalıtılmış sözcükleri tanımak için, bir görsel tanıyım dizgesi gerçekleştirilmiştir. İki farklı sınıflandırma tekniği, en yakın komşu sınıflandırması ve Saklı Markov Modeli, kullanılmıştır. En yalan komşu sınıflandırmada, dudak sınırlarından öznitelik özütleme için Fourier Tanımlayıcılar (FT) ve dudak hareketlerini tanımlama için Ayrık Kosinüs Dönüşümü (AKD) kullanılmıştır. Sınıflandırma için Saklı Markov Modeli kullanıldığında, öznitelik özütleme için sadece Fourier Tanımlayıcılar kullanılmıştır. Konuşmacıya bağımlı ve konuşmacıdan bağımsız tanıyım dizgeleri incelenmiştir. Konuşmacıya bağımlı tanıyım dizgesinde, en yalan komşu sınıflandırması kullanılmıştır. %97 civarındaki en iyi başarım, Fourier Tanımlayıcılarının karmaşık değerli kullanıldığı durumda gözlenmiştir.Konuşmacıdan bağımsız tanıyım sisteminde, en yakın komşu sınıflandırması kullanılarak %40'lık bir başaran gözlenirken, Saklı Markov Model kullanılarak %48 civarında bir başarım gözlenmiştir.

Özet (Çeviri)

ABSTRACT RECOGNITION OF SPEECH FROM HUMAN LIP MOTION BALCI, CANAN M. Sc, Department of Electrical and Electronics Engineering Supervisor: Prof. Dr. Mete Severcan June, 1999, 63 pages. A visual speech recognition system is implemented to recognize isolated words. Two different classification techniques, nearest neighbor classification and Hidden Markov Models (HMMs) are considered. In nearest neighbor classification, Fourier Descriptors (FDs) are used to extract features from the lip boundary and Discrete Cosine Transform (DCT) is used to describe the lip movements. In HMMs, only FDs are used for feature extraction. Both speaker- dependent and speaker-independent recognition systems are studied. In speaker- dependent recognition system, nearest neighbor classification technique is used for classification. The best recognition performance, which is about 97%, is observed when the FDs are considered as complex values. For speaker- 111independent recognition, nearest neighbor classification yielded a recognition performance of 40% while HMM classifier yielded about 48% performance.

Benzer Tezler

  1. Tez No

    82976

    Combined speech recognition from audio and video information

    Görsel ve işitsel bilgi kullanılarak birleşik söz tanıma

    JASMİNA STEVKOVSKA

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. LALE AKARUN

  2. Tez No

    212039

    Bilgisayarlı dudak okuma

    Automatic lipreading

    ZAFER YAVUZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2007

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. VASİF V. NABİYEV

  3. Tez No

    259008

    Statistical facial feature extraction and lip segmentation

    İstatistiksel yüz öznitelik çıkarımı ve dudak bölümlemesi

    MUSTAFA BERKAY YILMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2009

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUSTAFA ÜNEL

    YRD. DOÇ. DR. HAKAN ERDOĞAN

  4. Tez No

    245416

    Tandem approach for information fusion in audio visual speech recognition

    Görsel-işitsel konuşma tanımada ardışık veri kaynaştırma yaklaşımı

    HARUN KARABALKAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2009

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Bölümü

    YRD. DOÇ. DR. HAKAN ERDOĞAN

  5. Tez No

    19348

    Yapay zeka ve uygulamaları

    Artificial intelligence and its applications

    A.SEMİH ÖZKUL

    Yüksek Lisans

    Türkçe

    Türkçe

    1991

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Y.DOÇ.DR. ORHAN KURUÜZÜM

Geri Dön