Geri Dön

Query-by-sign system for Turkish sign language broadcasts

Türk işaret dili haber videoları için işaret dili sorgulama arama sistemi

PDF İndir

  1. Tez No: 598985
  2. Yazar: JÜLİDE GÜLEN KADAM
  3. Danışmanlar: PROF. DR. MURAT SARAÇLAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 72

Özet

İşaret dili kullanarak arama yapan sistemler örnekle arama yapan sistemlerin biralt sınıfıdır. Bu çalışmanın amacı işaret dili sorgu kelimesini geniş bir veri seti için-den bulmaktır. Bu çalışma işitme ve konuşma engeli olanların görsel işitsel medyayaulaşmasını kolaylaştırmayı hedefleyen bir çalışmadır. İşaret dili tanıma ve geri getirimihenüz kesin bir çözümü olmayan açık bir problemdir. Bu çalışmada son zamanlardasunulmuş ve iyi sonuçlar veren OpenPose ve altdizi dinamik zaman bükmesi tekniğikullanılmıştır. İşaret dili haber bülteni veri seti olarak kullanılmıştır ve deneylerdenönce OpenPose ile ellerin kordinatları elde edilmiştir. İşaret dili sorgular ve veri setiöznitelik vektörleri ile temsil edilmetedir. Eller, parmakaların kombinasyonalarını be-lirten konum bilgisi, birim hareket vektörü ve ellerin şekil ve dokusunu ifade edenöznitelikler çıkarılarak ifade edilmiştir. Kosinüs metriği iki seri arasındaki mesafeyiheasplamak için kullanılmıştır. Farklı genişlikteki pencereler kullanılarak geri getirimperforması değerlendirilmiştir. Deney sonuçları göstermiştir ki bu çalışma işaret dili ilearama sistemleri için bir ön çalışma niteliğindedir ve daha iy performans için geliştir-ilmelidir. Sistem performasnı geri getirimi yapılan en iyi 10 alt dizinin doğru işaretitaşıyıp taşımadığına bakılarak sistemin başarı ölçütü hesaplanmışt

Özet (Çeviri)

Sign based query search system is a specialized type of query by example searchsystem. The main objective of this study is to locate visual query sign from large videodataset. This study is a baseline of a query by sign search system for deaf and mutepeople to make their access to audiovisual video easy. Hand gesture recognition andretrieval is an open problem and there is no exact solution. In this thesis, our approachproposes a method uses one of the latest successful method OpenPose and subsequeuncedynamic time warping-based retrieval task. We use Turkish Sign Language Broadcastas a dataset and it is processed offline using OpenPose. Hand signs in the datasetand query signs are represented by feature vectors. Feature vectors are a combinationof positions of finger configurations, unit motion vector and appearance based shapeand texture characteristics are which are used to calculate similarity for query match-ing. Cosine metric is used to measure distance to analyze similarity between searchedquery and all subsequences in the dataset. Different sized segmented windows fromdataset are used to compare retrieval performance. Experimental results indicate thatthe proposed method is promising for further studies in query-by-sign search systems.Moreover DTW is combined with and windowing approach improves the performance.Performance of the system is measured by precision at 10 calculation. Number ofsuccessful retrievals from top 10 result give us the performance of the system.

Benzer Tezler

  1. Tez No

    791769

    An iterative approach to keyword search in sign language

    İşaret dilinde anahtar sözcük aramaya yinelemeli bir yaklaşım

    MANSUR YEŞİLBURSA

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT SARAÇLAR

  2. Tez No

    652185

    Multimodal representation learning for synchronized speech and videos

    Eşzamanlı konuşma ve video için çok kipli gösterim öğrenimi

    ÖYKÜ DENİZ KÖSE

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT SARAÇLAR

  3. Tez No

    3470

    T.C. Karayolları işaret levhalarının bakım ve yönetiminin bilgisayarda ilişkisel veri tabanı modeline uygulanması

    Başlık çevirisi yok

    LEVENT TOKER

    Yüksek Lisans

    Türkçe

    Türkçe

    1988

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. OĞUZ MANAS

  4. Tez No

    652347

    Keyword search for sign language

    İşaret dilinde anahtar kelime arama

    NAZİF CAN TAMER

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT SARAÇLAR

  5. Tez No

    172265

    Interactive classification of satellite image content based on query by example

    Örneğe dayalı sorgulama ile uydu görüntü içeriğinin etkileşimli sınıflandırılması

    ORAL DALAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2006

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    PROF.DR. VOLKAN ATALAY

Geri Dön