Üç boyutlu sanal Türk İşaret Dili tercümanının tasarımı ve geliştirilmesi
Design and development of a three-dimensional virtual Turkish Sign Language translator
- Tez No: 836472
- Danışmanlar: PROF. DR. HASAN KARAL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Trabzon Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 304
Özet
İşitme engelli ve sağır bireylerin önemli bir kısmının okuma-yazmayı somutlaştırılamaması ve işaret diline sahip ortamların eksikliğinden kaynaklı iletişim sorunları yaşadıkları ve bu sorunların çözülmesi için ek çalışmalar yapılması gerektiği literatür ve politikalarla ortaya konulmuştur. Bu sorunların çözülmesine yönelik teknoloji temelli çalışmalar incelendiğinde önemli bir kısmının metinleri işaret diline çevirmeye yönelik çalışmalarından oluştuğu görülmektedir. Özelikle uluslararası çalışmalarda geliştirilen sistemlerin Türk İşaret Dili için uygulanabilir olmadığı göz önüne alındığında Türk İşaret Dili için özelleştirilmiş ve öğretim teknolojileri çerçevesinde tasarlanarak geliştirilmiş bir sistemin gerekliliği ön plana çıkmaktadır. Bu çalışmada ülkemiz kültürü, Türk dili yapısı ve Türk İşaret Diline uygun 3 boyutlu ve mobil uyumlu sanal işaret dili tercümanının (TİD3B) tasarlanması ve geliştirilmesi hedeflenmiştir. TİD3B'nin geliştirilmesinde öğretim teknolojileri, doğal dil işleme, işaret dili ve Türk dili gibi farklı disiplinlerde ve farklı uzmanlıklardaki katılımcılarla çalışmalar yürütülmüştür. Çalışma karma araştırma modeli çerçevesinde ve birbirine paralel ilerleyen tasarım tabanlı araştırmalar çerçevesinde şekillenmiştir. Türkçe metinlerin doğal dil işleme metoduyla analiz edilerek işaret dili kuralları ile birleştirilmesi, çeviri algoritmalarının ortaya konulması, işaret dili ile çevirileri gösterecek avatarın, işaret animasyonlarının ve mobil uyumlu arayüzün geliştirilmesine yönelik çalışmalarda katılımcılardan veriler toplanmış ve TİD3B tasarım tabanlı yaklaşımla döngüsel olarak geliştirilmesi sağlanmıştır. Çalışmada metinleri analiz edecek doğal dil işleme sisteminin yeterlilikleri, işaret dili avatarı ve işaret dili çevirisi yapacak ortamın özellikleri, işaret animasyonlarının dijital ortama aktarılmasına yönelik yöntemsel bulgular ve çeviri algoritmalarının doğrulukları ve TİD3B'nin kullanılabilirliğine dair bulgular elde edilmiştir. Bu bulgular ışığında Türkçe metinleri Türk işaret diline dinamik olarak çeviren, öğretim teknolojileri yaklaşımları ile geliştirmiş, kullanıcı dostu, 3 boyutlu ve mobil uyumlu bir ortam ortaya konulmuştur. Çalışmada Türk işaret dili kuralları raporlanarak çeviri kurallarına yönelik 50 algoritma geliştirilmiştir. Milli Eğitim Bakanlığı İşaret Dili Sözlüğünde yer alan 2344 işaret modellenerek animasyonları hazırlanmıştır. İşaret dili avatarlarına yönelik üst ekstremite oranları, ikoniklik, kafa, kaş, göz, kıyafet ve benzeri toplamda 22 kategoride tasarım özellikleri belirlenmiş ve avatar geliştirilmiştir. Türk işaret dili çevirisine yönelik mobil uyumlu 3 boyutlu bir sistemde arayüzün ve çevirilerin akışkan çalışması, avatarın görünümü, renklerin uyumluluğu, çeviri hızı, avatarın boyutlandırılması ve benzeri toplamda 11 kategoride özellikler belirlenmiş ve mobil uyumlu ortam tasarlanarak geliştirilmiştir. Tüm bileşenlerin birleştirildiği ortam kullanılabilirlik çalışması kapsamında değerlendirilmiş ve ortamın kullanılabilir bir yapısı olduğu ortaya konulmuş ve tartışılmıştır. Benzer sistemlerin geliştirilmesinde çalışma sonucunda raporlanan animasyon, kural, avatar ve ortama ait kriterlerin dikkate alınması, özellikle işitme engelliler açısından animasyonlarda mimik ve doğallığa dikkat edilmesi, erken işaret dili öğrenicilerinin ağırlıkta olduğu katılımcı grupları ile çalışılması, çeviri algoritmalarının ve geliştirilen animasyonlarının nicel olarak kapsayıcı olması ve dudak okumaya yönelik çalışmalara yer verilmesi önerilmektedir.
Özet (Çeviri)
It has been revealed through literature and policies that a significant portion of hearing impaired and deaf people experience communication problems due to the inability to concretize reading and writing and the lack of environments supported with sign language, and that further studies are needed to solve these problems. Some of the technology-based studies aim to solve these problems by translating texts into sign language. Considering that the systems developed in international studies are not applicable for Turkish Sign Language. Thus, the need for a system that is adapted to Turkish Sign Language and designed and developed within the framework of instructional technologies comes to the fore. The aim of this study is to design and develop a 3D and mobile compatible Virtual Sign Language Translator (TİD3B) that is suitable for Turkish culture, Turkish language structure and Turkish Sign Language. In the development of TİD3B, studies were conducted across various disciplines including instructional technologies, natural language processing, sign language, and Turkish language, and with diverse participants possessing different specializations. The study was structured within a mixed research model and parallel design-based research framework. Data were collected from the participants in several research and TİD3B has been developed cyclically with a design-based approach. Such as analyzing Turkish texts with the natural language processing method and combining them with sign language rules, development of translation algorithms, development of the signing avatar, sign animations and mobile compatible interface to display translations in sign language. Findings were obtained on the adequacy of the natural language processing system for text analysis, the characteristics of the sign language avatar and the translation environment, methodological findings for transferring sign animations to the digital environment, the accuracy of translation algorithms, and the usability of TID3B. Based on the research conducted, an instructional technology approach was utilized to introduce a mobile-compatible, user-friendly 3D environment that can dynamically convert Turkish texts into Turkish sign language. The study reported on the Turkish sign language rules, as well as the development of fifty algorithms for translation rules. Additionally, 2344 signs were modeled and converted into animations for the Sign Language Dictionary of the Ministry of National Education. Design features for sign language avatars were determined across twenty-two categories, including upper extremity proportions, iconicity, head movements, eyebrow movements, eye movements and positioning, clothing, and more. The avatar itself was then developed based on these predetermined features. In the design of a 3D system for mobile Turkish sign language translation, eleven categories were identified, including interface and translation fluidity, avatar appearance, color compatibility, translation speed, and avatar size. These features informed the development of a mobile-friendly environment. The usability study evaluated the environment, comprising of all components, and revealed that it had a structurally usable design. Further discussions were held on the findings. When developing comparable systems, it is essential to consider the standards related to animation, rules, avatars, and environments as reported in the study. It is crucial to pay attention to the naturalness and facial expressions in animations while working with participant groups where early sign language learners are prevalent. Additionally, ensuring that the translation algorithms and animations are quantitatively inclusive is necessary. Furthermore, it is recommended to include studies on lip reading.
Benzer Tezler
- Üç boyutlu sanal model ile Türk işaret dili simülasyonu
Turkish sign language simulation with three-dimensional virtual model
MEHMET FATİH KARACA
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ŞAFAK BAYIR
- Robot and avatar based interactive system for children's education
Çocuk eğitimi için tasarlanmış robot ve avatar destekli etkileşimli sistem
RABİA YORGANCI KINDIROĞLU
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- The study of embodiment on humanoid robots for Turkish sign language
Türk işaret dili için insansı robotlar üzerinde vücutlandırma çalışmaları
AHMET ÖZKUL
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Deep learning based dynamic turkish sign language recognition with leap motion
Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma
BURÇAK DEMİRCİOĞLU KAM
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Turgut Puranın yaşamı ve Türk heykel sanatındaki yeri
Turgut Pura and his importance in Turkish sculpture
DUYGU SARIÇALIK
Yüksek Lisans
Türkçe
2006
Güzel SanatlarÇanakkale Onsekiz Mart ÜniversitesiSanat Tarihi Ana Bilim Dalı
Y.DOÇ.DR. MEHMET ÜSTÜNİPEK