Geri Dön

Unsupervised term discovery for sign language

İşaret dilinde gözetimsiz terim keşfi

  1. Tez No: 652354
  2. Yazar: KORHAN POLAT
  3. Danışmanlar: PROF. DR. MURAT SARAÇLAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mühendislik Bilimleri, Engineering Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 86

Özet

Gözetimsiz terim keşfi (GTK) son yıllarda konuşma işleme alanında \textit{konuşulan terim keşfi} adıyla çalışılan bir problemdir. Amaç söz konusu dildeki tekrar eden sözcüklerin sadece konuşma sinyali kullanılarak keşfedilmesidir. Böylece kaynakların az olduğu dillerdeki terimler öğrenilmektedir. Etiketli veri kümesi sayısının az olduğu bir alan olan işaret dili işleme da gözetimsiz yöntemlere ihtiyaç vardır. Bu tezde, tekrar eden işaret terimlerinin gözetimsiz keşfi için konuşma işlemede uygulanan GTK algoritmaları işaret dili videolarına uyarlanmıştır. Ses öznitelikleri kullanmak yerine videolardan çıkarılan görsel öznitelikler kullanılmıştır. Konuşulan terim keşfinde kabul gören başarım ölçütlerinden faydalanarak, GTK yöntemlerinin işaret terimi keşfindeki başarısı ölçülmüştür. Elde edilen sonuçlara göre, GTK yöntemi işaret diline uygulandığında, konuşulan terim keşfindeki uygulamasına benzer başarım göstermektedir.

Özet (Çeviri)

Current sign language recognition systems rely on supervision for training successful models. However, in order to utilize the large amount of unlabeled sign language resources, unsupervised learning methods are needed. Motivated by the successful results of unsupervised term discovery in spoken languages, this work explores how to apply similar methods for sign terms discovery. The goal is to find the repeating terms from continuous sign videos without any supervision. Using visual features extracted from RGB videos, it is shown that discovery algorithms designed for speech can also discover sign terms. The experiments are run on a large scale continuous sign corpus and the performance is evaluated using gloss level annotations, for which time boundaries are given. The evaluation metrics are also inherited from spoken term discovery. This work unveils the potential use of unsupervised term discovery algorithms for continuous sign languages.

Benzer Tezler

  1. Unsupervised multi-object discovery and tracking using memory-augmented slot attention

    Bellek destekli slot dikkat modeliyle gözetimsiz çoklu nesne keşfi vetakibi

    AHMED IMAM SHAH

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    Prof. Dr. YÜCEL YEMEZ

    Assoc. Prof. Dr. İBRAHİM AYKUT ERDEM

  2. Aksolotl kol rejenerasyonu alanında mikrobiyota ve transkriptom verisinin madenciliği vasıtasıyla yeni aday biyobelirteçlerin keşfi

    Discovery of novel candidate biomarkers in the field of axolotl limb regeneration through mining of axolotl microbiota and transcriptome data

    MUHAMMED MUSTAFA ÖGDÜR

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Biyoistatistikİstanbul Medipol Üniversitesi

    Sağlık Sistemleri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ KIVANÇ KÖK

  3. Developing a label propagation approach for cancer subtype identification problem

    Kanser alt tipi tanımlama problemi için bir etiket yayma yaklaşımı geliştirme

    PINAR GÜNER

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAbdullah Gül Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURCU GÜNGÖR

    DR. ÖĞR. ÜYESİ MUSTAFA COŞKUN

  4. Theme supervised nonnegative matrix factorization for topic modeling

    Konu modelleme için tema denetimli negatif olmayan matris ayrıştırması

    BURAK SUYUNU

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. TUNGA GÜNGÖR

  5. Gerçek zamanlı strateji oyunu için mikro yönetim yapay zekası

    Micro management artificial intelligence for a real-time strategy game

    SUAT ÖZCAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Kültür Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AKHAN AKBULUT