Türk işaret dili kelime tanıma ve Türkçe cümle üretimi için görüntü işleme ve doğal dil işleme yaklaşımı
A computer vision and natural language processing approach for Turkish sign language word recognition and Turkish sentence generation
- Tez No: 999302
- Danışmanlar: DR. ÖĞR. ÜYESİ YÜCEL TEKİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Ostim Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yazılım Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada Türk İşaret Dili (TİD) videolarından akıcı Türkçe metin üretmeyi amaçlayan iki aşamalı bir yapay zekâ sistemi geliştirilmesi amaçlanmıştır. Çalışmada, Google tarafından açık kaynak bir framework olarak geliştirilen MediaPipe'ın Holistic modeli kullanılarak çıkarılan el pozisyonu verilerinden TİD kelimeleri tahmin edilmiştir. Bu aşamada veri kümesi olarak BosphorusSign22k kullanılmıştır. Tahmin için, veriler Z-skoru normalizasyonu ve anatomik yapıya uygun 5D tensör formatına dönüştürülmüş ve derin 3D Evrişimsel Sinir Ağları (3D CNN) mimarisi eğitilmiştir. Modelde, video karelerinden örüntüler yakalanarak sınırlı bir kelime dağarcığı üzerinde yüksek sınıflandırma doğruluğu elde edilmesi hedeflenmiştir. Çalışmanın devamında ise, görüntü işleme yöntemleri ile tahmin edilen TİD kelimelerini kullanarak Gloss'tan Metne (G2T) problemi üzerine yoğunlaşılmaktadır. Bu sebeple, Microsoft Phi-3-mini-4k-instruct gibi kompakt bir Büyük Dil Modeli (LLM), TİD sözdizimi glossları ve bu kelimelerin doğru Türkçe karşılıkları kullanılarak QLoRA ince ayar tekniği ile özelleştirilmiştir. LLM, özel olarak hazırlanmış bir Sistem Yönergesi (System Prompt) ile eğitilmiş ve LLM'e gloss dizilerini Türkçe dilbilgisi kurallarına uygun, anlamlı ve doğal cümlelere dönüştürme yeteneği kazandırılması hedeflenmiştir. Elde edilen sonuçlar, LLM'in gloss-metin çevirisinde yüksek doğruluk potansiyeli gösterdiğini ve 3D CNN tabanlı görüntü tanıma modeli ile birleştirildiğinde TİD çeviri teknolojileri için ölçeklenebilir ve yenilikçi bir altyapı sunduğunu ortaya koymuştur. Bu çalışma hem işaret dili tanıma hem de çeviri alanındaki çeşitli teknoloji yöntemlerinin birleştirilmesi ile alana önemli bir katkı sağlamaktadır.
Özet (Çeviri)
This study aims to develop a two-stage artificial intelligence system that aims to generate fluent Turkish text from Turkish Sign Language (TSL) videos. In this study, TSL words were predicted from hand position data extracted using MediaPipe's Holistic model, an open-source framework developed by Google. BosphorusSign22k was used as the dataset. For prediction, the data was converted to a 5D tensor format suitable for Z-score normalization and anatomical structure, and a deep 3D Convolutional Neural Network (3D CNN) architecture was trained. The model aims to achieve high classification accuracy on a limited vocabulary by capturing patterns from video frames. The study then focuses on the Gloss-to-Text (G2T) problem using TSL words predicted by image processing methods. For this reason, a compact Large Language Model (LLM), such as Microsoft Phi-3-mini-4k-instruct, was customized using the QLoRA fine-tuning technique using TİD syntax glosses and their correct Turkish equivalents. The LLM was trained with a specially designed System Prompt, aiming to provide the LLM with the ability to translate gloss strings into meaningful and natural sentences that comply with Turkish grammar rules. The results demonstrate that the LLM demonstrates high accuracy in gloss-to-text translation and, when combined with a 3D CNN-based image recognition model, provides a scalable and innovative infrastructure for TİD translation technologies. This study makes a significant contribution to the field by combining various technological methods in both sign language recognition and translation.
Benzer Tezler
- Türkçede sağa çalkalamalı yapıların işlemlenmesi
The processing of rightward scrambling in Turkish
SÜHEYDA SARIKAYA
- Türk halk bilmecelerinin yapı, dil ve üslup özellikleri
Structural, linguistic and stiylistic features of Turkish folk riddles
FEVZİ KARADEMİR
Doktora
Türkçe
2007
Türk Dili ve EdebiyatıDicle ÜniversitesiTürk Dili ve Edebiyatı Eğitimi Ana Bilim Dalı
PROF.DR. SADETTİN ÖZÇELİK
- Yeni Cami'nin akustik açıdan performans değerlendirmesi
Evaluation of the acoustical performance of the New Mosque
EVREN YILDIRIM
Yüksek Lisans
Türkçe
2003
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. SEVTAP YILMAZ DEMİRKALE
- Acil vaka bildirimleri için Türk işaret dili tanıma
Turkish sign language recognition for emergency notifications
GÜRKAN BİLİCİ
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELÇUK TAŞCIOĞLU
- Türkçe otomatik konuşma tanıma ve işaret diline çevirme
Automatic speech recognition and sign language translation for Turkish
BURAK TOMBALOĞLU
Doktora
Türkçe
2021
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMİT ERDEM