Geri Dön

Alignment and multimodal analysis in signed speech

İşaret dili videolarından ayrık işaret çıkarımı

  1. Tez No: 246259
  2. Yazar: PINAR SANTEMİZ
  3. Danışmanlar: PROF. LALE AKARUN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2009
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Bölümü
  12. Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  13. Sayfa Sayısı: 101

Özet

Bu tezde, duraklamasız, işaretlenmiş Türkçe videolarından otomatik ayrık işaret çıkarımı yapan bir yöntem geliştirdik. İşaretlenmiş Türkçe, Türk işaret dilindeki işaretlerin, Türkçe konuşma diline ait dilbilgisi kuralları dahilinde kullanılmasından oluşmuş görsel bir dildir ve el şekli ile el hareketlerinden oluşur. Duraklamasız işaret dilinde peş peşe yapılan işaretler birbirlerini etkileyebilir ve işaretlerin başında ve sonunda değişimler olabilir. Bu da ayrık işaret çıkarımını zorlaştırır. Bu çalışmada, el işaretleri bilgisini kullanarak Türk işaret dilinde sıklıkla kullanılan bazı işaretlerin ayrık çıkarımını yapmayı amaçladık. Kullandığımız yöntem iki adımdan oluşmaktadır: İlk olarak, el takibi modülü kullanılarak elde edilmiş el bölgelerine bölütleme uygulayıp sadece sağ veya sol eli içeren resimler elde ettik. Daha sonra el işaretlerini çeşitli yöntemler kullanarak betimledik. Bunlar şu şekilde sıralanabilir: 1) Ellerin merkez koordinatları ve bu koordinatların türevleri, 2) Her bir el için elips değişkenleri, 3) Ayrık kosinüs dönüşümü, 4) Yönlü Gradyan Histogramı, 5) Yerel Ikili Örüntü yöntemi, 6) Hu momentleri, ve 7) Işınsal Uzaklık fonksiyonu. Daha sonra işaret dizilerini çeşitli yöntemler kullanarak hizalayıp işaretlerin başlangıç ve bitiş noktalarını bulduk. Hizalama yöntemleri olarak dinamik zaman bükmesi (DTW), saklı Markov modeli (HMM) ve bağlaştırılmış HMM kullandık. Ayrıca sistemimizin başarımını arttırmak amacıyla bazı tümleştirme yöntemleri uyguladık. Sistemimizin başarımını işaretlenmiş Türkçe videolarından oluşan bir veri tabanı üzerinde gösterdik. Buna göre, DTW ile HMM algoritmaları birleştirildiğinde ve öznitelik olarak merkez koordinatları, bu koordinatların türevleri, ve elips değişkenleri kullanıldığında en yüksek başarımı elde ettik.

Özet (Çeviri)

In this thesis, we attack the problem of extracting isolated signsfrom continuous signed speech videos. Signed speech is a languagethat uses the signs of sign language and the grammar of spoken language.It is a visual language and makes use of hand gestures, whichconsist of hand motion and hand shape. In continuous signedspeech, signs are expressed in succession, whichresults in coarticulation effects, making segmentation a challengingtask. In this work, we aim to segment some of the most common signsin Turkish Sign Language using hand gesture information. Thisprocess consists of two consecutive steps: First, we apply segmentationto hand regions obtained from a hand tracking module andobtain images containing only the left or the right hand. Then, werepresent hand gestures by a variety of features which can becategorized as follows: 1) Center of mass coordinates of each handand their first-order derivatives, 2) Ellipse parameters for eachhand, 3) Discrete CosineTransform, 4) Histogram of oriented gradients, 5) Local BinaryPatterns, 6) Hu Moments, and 7) Radial Distances. Then, we alignthe sequences with different methods and find the startand end positions for each sign. We use Dynamic Time Warping (DTW), HiddenMarkov Models (HMM), and coupled HMMs as differentalignment approaches. We also apply some fusion techniques toimprove the alignment performances. We experiment on a database fromTurkish signed speech videos and report the results. We see that thehighest accuracy is obtained by combining the DTW and HMM methods usingCenter of mass coordinates, their first-order derivatives, and Ellipsefeatures.

Benzer Tezler

  1. Neural and ocular correlates of conceptual grounding in verbal interaction: A multimodal hyperscanning approach

    Sözel etkileşimde kavramsal temel edinmenin sinirsel ve oküler örüntüleri: Bir çok kipli hiper tarama yaklaşimi

    EFECAN YILMAZ

    Doktora

    İngilizce

    İngilizce

    2024

    DilbilimOrta Doğu Teknik Üniversitesi

    Bilişsel Bilim Ana Bilim Dalı

    DOÇ. DR. MURAT PERİT ÇAKIR

  2. Detecting novel behavior and process improvement with multi-modal process mining

    Çok modlu süreç madenciliği ile yeni davranışın tespiti ve süreç iyileştirme

    ABDURRAHMAN TELLİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AYÇA KOLUKISA TARHAN

    DR. TUĞBA GÜRGEN ERDOĞAN

  3. Smiles and affective alignment in naturally occurring dyadic academic supervisions

    Doğal gelişen ikili akademik danışmanlık görüşmelerinde gülümsemeler ve duygusal uyuşma

    BURAK SUNGURALP TEKİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    DilbilimUniversity of Newcastle upon Tyne

    İnsan ve Toplum Bilimleri Ana Bilim Dalı

    DR. DAWN KNIGHT

  4. Multi-modal neuroimaging data prediction: Estimation of connectional brain template and multigraph classification with application to gender fingerprinting

    Çoklu modal nörogörüntüleme veri tahmini: Bağlantılı beyin şablonunun tahmini ve cinsiyet parmak izi uygulaması ile çoklu grafik sınıflandırma

    NADA CHAARI

    Doktora

    İngilizce

    İngilizce

    2021

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE CAMGÖZ AKDAĞ

    DR. ÖĞR. ÜYESİ ISLEM REKIK

  5. Çok modlu fiber optik kablolarda eklem noktasındaki yanlış hizalama kayıpları

    Mi̇sali̇gnment losses at joint point in multimode fiber optic cables

    POURIA PISHGAM

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Elektrik ve Elektronik MühendisliğiGazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NURSEL AKÇAM