Generating action description text from skeleton key points sequence
İskelet anahtar noktaları sekansından eylem tanımlama metni üretilmesi
- Tez No: 896402
- Danışmanlar: DOÇ. DR. HACER YALIM KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 78
Özet
Çok sayıda işaret dili veri kümesi bulunmakla birlikte, genellikle yaygın olarak kullanılan binlerce işaretin sadece sınırlı bir seçimini kapsarlar. Dahası, çeşitlilik barındıran işaret dili veri kümeleri oluşturmak, çeşitlilik barındıran bir işaretçi grubunu toplamanın getirdiği maliyetler nedeniyle pahalı ve zorlu bir görevdir. Bu zorluklardan ilham alarak, bu sınırlamaları ele alan bir çözüm geliştirmeyi amaçladık. Amacımıza ulaşmak için ana çerçeveyi, metinden iskelet ve iskeletten metin üreten ve birbirlerini döngüsel olarak besleyebilen bir sistem olarak şekillendirdik. Motivasyonumuz, binlerce işaret için iskeletleri denetimsiz ve verimli bir şekilde üretebilir miyiz sorusundan kaynaklanmaktadır. Bu bağlamda, iskelet anahtar nokta dizilerinden beden hareketlerini metin olarak tanımlamaya odaklandık ve yeni bir veri kümesi oluşturduk. Bu veri kümesini, kapsamlı bir ayrık Türk işaret dili veri kümesi olan AUTSL etrafında yapılandırdık. Ayrıca, SkelCap adında vücut hareketlerinin metinsel açıklamalarını üretebilen bir temel model geliştirdik. Bu model, iskelet anahtar nokta verilerini bir vektör olarak işler, gömme için tam bağlı bir katman uygular ve diziden diziye modelleme için bir dönüştürücü sinir ağı kullanır. Modelimizin kapsamlı değerlendirmelerini, işaretçiye duyarsız ve işarete duyarsız değerlendirmeler de dahil olmak üzere yaptık. Model, işaretçiye duyarsız değerlendirmede ROUGE-L skoru 0.98 ve BLEU-4 skoru 0.94 ile umut verici sonuçlar elde etti. Bu umut verici sonuçların ardından, metinden iskeletler üretmeye odaklandık. Bu amaçla, çekişmeli eğitimi içeren çalışmalar yaptık, ancak bu tez süresince başarılı sonuçlar henüz elde edemedik. Bu konuyu hala çalışılması gereken heyecan verici bir konu olarak görüyoruz. Hazırladığımız veri kümesi olan AUTSL-SkelCap yakında erişime açılacaktır.
Özet (Çeviri)
Although numerous sign language datasets are available, they generally include only a small portion of the thousands of signs used worldwide. Furthermore, the creation of diverse sign language datasets is both costly and difficult, largely due to the expenses involved in assembling a diverse group of signers. Driven by these challenges, we set out to devise a solution that overcomes these constraints. To achieve our goal, we shaped the main framework as a system that produces text from the skeleton and skeleton from the text and can feed each other in a cyclic manner. Our motivation stemmed from the question of whether we could generate skeletons for thousands of signs in an unsupervised and efficient manner. Within this framework, we concentrated on creating textual descriptions of body movements from sequences of skeleton keypoints, which resulted in the development of a new dataset. This dataset was based on AUTSL, a detailed dataset of isolated Turkish sign language. Additionally, we created a baseline model called SkelCap, designed to generate textual descriptions of body movements. This model processes skeleton keypoint data as vectors, applies a fully connected layer for embedding, and uses a transformer neural network for sequence-to-sequence modeling. We extensively evaluated our model, performing both signer-agnostic and sign-agnostic assessments. The model delivered promising results, achieving a ROUGE-L score of 0.98 and a BLEU-4 score of 0.94 in the signer-agnostic evaluation. After these promising results, we focused on producing skeletons from text. For this purpose, studies including adversarial training were carried out, but successful results were not achieved within the duration of this thesis. The dataset we developed, called AUTSL-SkelCap, will be publicly accessible soon.
Benzer Tezler
- Automated semantic tagging of text documents
Metin belgelerinin otomatik olarak anlamsal etiketlenmesi
MURAT KALENDER
Yüksek Lisans
İngilizce
2010
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. SUZAN ÜSKÜDARLI
- 5. sınıf sosyal bilgiler dersi insanlar, yerler ve çevreler öğrenme alanı kavramlarının öğretimine yönelik bir eylem araştırması
An action research on teaching concepts of people, places and environments learning space for 5th grades social studies course
EMRAH URHAN
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimUşak ÜniversitesiTürkçe ve Sosyal Bilimler Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF İNEL
- Özel eğitim öğretmenlerinin kullandığı okuduğunu anlama stratejilerinin belirlenmesi
Determining the reading comprehension strategies used by special education teachers
ÖZGÜR ÖZYURT
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimBolu Abant İzzet Baysal ÜniversitesiÖzel Eğitim Ana Bilim Dalı
PROF. DR. EMİNE ERATAY
- How cryptographic implementations affect mobile agent systems
Şifreleme gerçekleştirmelerinin gezgin aracı internet sistemlerini nasıl etkilediği
İSMAİL ULUKUŞ
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
PROF. DR. EMİN ANARIM