An iterative approach to keyword search in sign language
İşaret dilinde anahtar sözcük aramaya yinelemeli bir yaklaşım
- Tez No: 791769
- Danışmanlar: PROF. DR. MURAT SARAÇLAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 76
Özet
İşaret dilleri, Sağırlar için ana iletişim aracıdır. Ancak, Sağırların bilgiye erişimi için gerekli geri getirme sistemleri henüz geliştirilmemiştir. Bu sorunun çözümüne yönelik, bu tezde işaret dilinde anahtar sözcük arama sorunu ele alınmıştır. Anahtar sözcük arama, konuşma işleme gibi alanlar için detaylıca çalışılmış bir problem olsa da, işaret dili bağlamında kapsamlı bir şekilde çalışılmamıştır. Bu tezde, mevcut bir işaret dilinde anahtar sözcük arama sisteminde yapılan iyileştirmelerin yanı sıra yeni bir yinelemeli eğitim yaklaşımı önerilmiştir. Çizge Dikkatli Sinir Ağları (GAT) işaret dili alanına uyarlanıp, öğrenilebilir maske ve ayrık bir zamansal dikkat mekanizması kullanılarak geliştirilmiştir. Ayrıca, Sözde-İlişiklik Geri Bildirimi (PRF) tekniğinin geri getirme performansına olan etkisi incelenmiştir. Bunun yanı sıra, mevcut modelin benzerliğe dayalı yöntemlerle, kosinüs ve üçüz kayıpları kullanılarak eğitilebileceği ve daha sonra performansı artırmak için diğer modellerle birleştirilebileceği gösterilmiştir. Son olarak, tahminlerini kademeli olarak iyileştiren Beklenti-Enbüyütme (EM) tekniğine benzer yinelemeli bir eğitim yöntemi önerilmiştir. Bu yöntem, incelikli video-sorgu etkileşimlerini keşfetmek için bir sorgu kodlayıcının yanı sıra medyumlar arası bir dikkat mekanizması kullanır. Deneyler, RWTH-Phoenix2014T veri kümesi üzerinde gerçekleştirilmiş olup önerilen yöntemlerin başarımı gösterilmiştir. Sonuçlar, poz modellerinin GAT tabanlı kodlayıcılarla, yinelemeli bir şekilde eğitildiğinde geri getirme başarımını önemli derecede iyileştiğini göstermiştir.
Özet (Çeviri)
Sign languages are the main medium of communication for the Deaf. However, insufficient retrieval tools for sign languages restrict the Deaf's access to information. To address this issue, we tackle the problem of keyword search in sign language. Although keyword search is a well-studied task for domains like speech processing, it has not been extensively studied in the context of sign language. To this end, we introduce improvements to an existing keyword search system for sign language and a new iterative training approach. We adapt Graph Attention Networks (GAT) to the sign language domain and extend its capabilities by employing a learnable mask and a separate temporal attention mechanism. Moreover, we investigate the effectiveness of the Pseudo-Relevance Feedback (PRF) technique in improving retrieval accuracy. Additionally, it is demonstrated that the existing model can also be trained with similarity-based methods using cosine and triplet losses, which can later be fused with other models to boost performance. Finally, we introduce an iterative training method similar to Expectation-Maximization (EM) that gradually improves its predictions. This method employs a cross-modal attention mechanism and a query encoder to discover subtle video-query interactions. The experiments are carried out on the RWTH-Phoenix2014T dataset, where the effectiveness of the proposed methods is verified. The results show that the pose models trained with a GAT-based encoder and in an iterative way significantly improve the retrieval performance.
Benzer Tezler
- İslam bahçelerinde suyun kullanımı, peyzaj mimarlığı disiplini akademik çalışmaları üzerinden değerlendirilmesi
The use of water in islamic gardens, evaluation of landscape architecture discipline through academic studies
ALİ YUSUF ÇİZMECİOĞLU
Yüksek Lisans
Türkçe
2024
Peyzaj Mimarlığıİstanbul Teknik ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
PROF. DR. FATMA AYÇİM TÜRER BAŞKAYA
- İnternette 'Firewall' güvenlik kavramı ve hizmetlere erişim denetimi
Başlık çevirisi yok
YALÇIN AY
Yüksek Lisans
Türkçe
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiPROF.DR. EMRE HARMANCI
- İnsan ve HIV-1 proteinleri arasındaki etkileşimlerin rastgele orman yöntemi ve birlikte öğrenme yaklaşımı ile tahmin edilmesi
Predicting human-HIV 1 protein-protein interactions using random forests in a co-training approach
İSMAİL BİLGEN
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZEHRA ÇATALTEPE
- Üst-sezgiseller için alana özgü dil tasarımı
A domain specific language for hyper-heuristics
HİLAL KEVSER CORA
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ŞİMA UYAR
- Design and evolution of sociotechnical systems a requirements engineering perspective
Başlık çevirisi yok
FATMA BAŞAK AYDEMİR
Doktora
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversita Degli Studi Di TrentoPROF. DR. DANIŞMAN YOK