Unsupervised term discovery for sign language
İşaret dilinde gözetimsiz terim keşfi
- Tez No: 652354
- Danışmanlar: PROF. DR. MURAT SARAÇLAR
- Tez Türü: Yüksek Lisans
- Konular: Mühendislik Bilimleri, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 86
Özet
Gözetimsiz terim keşfi (GTK) son yıllarda konuşma işleme alanında \textit{konuşulan terim keşfi} adıyla çalışılan bir problemdir. Amaç söz konusu dildeki tekrar eden sözcüklerin sadece konuşma sinyali kullanılarak keşfedilmesidir. Böylece kaynakların az olduğu dillerdeki terimler öğrenilmektedir. Etiketli veri kümesi sayısının az olduğu bir alan olan işaret dili işleme da gözetimsiz yöntemlere ihtiyaç vardır. Bu tezde, tekrar eden işaret terimlerinin gözetimsiz keşfi için konuşma işlemede uygulanan GTK algoritmaları işaret dili videolarına uyarlanmıştır. Ses öznitelikleri kullanmak yerine videolardan çıkarılan görsel öznitelikler kullanılmıştır. Konuşulan terim keşfinde kabul gören başarım ölçütlerinden faydalanarak, GTK yöntemlerinin işaret terimi keşfindeki başarısı ölçülmüştür. Elde edilen sonuçlara göre, GTK yöntemi işaret diline uygulandığında, konuşulan terim keşfindeki uygulamasına benzer başarım göstermektedir.
Özet (Çeviri)
Current sign language recognition systems rely on supervision for training successful models. However, in order to utilize the large amount of unlabeled sign language resources, unsupervised learning methods are needed. Motivated by the successful results of unsupervised term discovery in spoken languages, this work explores how to apply similar methods for sign terms discovery. The goal is to find the repeating terms from continuous sign videos without any supervision. Using visual features extracted from RGB videos, it is shown that discovery algorithms designed for speech can also discover sign terms. The experiments are run on a large scale continuous sign corpus and the performance is evaluated using gloss level annotations, for which time boundaries are given. The evaluation metrics are also inherited from spoken term discovery. This work unveils the potential use of unsupervised term discovery algorithms for continuous sign languages.
Benzer Tezler
- Unsupervised multi-object discovery and tracking using memory-augmented slot attention
Bellek destekli slot dikkat modeliyle gözetimsiz çoklu nesne keşfi vetakibi
AHMED IMAM SHAH
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Prof. Dr. YÜCEL YEMEZ
Assoc. Prof. Dr. İBRAHİM AYKUT ERDEM
- Aksolotl kol rejenerasyonu alanında mikrobiyota ve transkriptom verisinin madenciliği vasıtasıyla yeni aday biyobelirteçlerin keşfi
Discovery of novel candidate biomarkers in the field of axolotl limb regeneration through mining of axolotl microbiota and transcriptome data
MUHAMMED MUSTAFA ÖGDÜR
Yüksek Lisans
Türkçe
2022
Biyoistatistikİstanbul Medipol ÜniversitesiSağlık Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ KIVANÇ KÖK
- Developing a label propagation approach for cancer subtype identification problem
Kanser alt tipi tanımlama problemi için bir etiket yayma yaklaşımı geliştirme
PINAR GÜNER
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAbdullah Gül ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURCU GÜNGÖR
DR. ÖĞR. ÜYESİ MUSTAFA COŞKUN
- Theme supervised nonnegative matrix factorization for topic modeling
Konu modelleme için tema denetimli negatif olmayan matris ayrıştırması
BURAK SUYUNU
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNGA GÜNGÖR
- Gerçek zamanlı strateji oyunu için mikro yönetim yapay zekası
Micro management artificial intelligence for a real-time strategy game
SUAT ÖZCAN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Kültür ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AKHAN AKBULUT