Makine öğrenmesi yöntemleri ile işaret dili harf tanıma ve performans analizi
Sign language letter recognition and performance analysis using machine learning methods
- Tez No: 1001370
- Danışmanlar: PROF. DR. SEDAT ÇAPAR
- Tez Türü: Yüksek Lisans
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Bilgisayarla görme, Evrişimli sinir ağları, Makine öğrenmesi, Sayısal görüntü analizi, Sayısal görüntü işleme, İşaret dili, Computer vision, Convolutional neural networks, Machine learning, Digital image analysis, Digital image processing, Sign language
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Dokuz Eylül Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Veri Bilimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Amerikan İşaret Dili (ASL) alfabesi, işitme veya konuşma güçlüğü çeken kişiler için iletişim erişimini artırmaya yardımcı olan teknoloji alanında önemli bir araştırma konusu olarak öne çıkmaktadır. Bu çalışma, derin öğrenme yöntemleriyle 26 ASL harfinin yanı sıra silme, hiçbir şey ve boşluk işaretlerini otomatik olarak sınıflandırmaya odaklanmaktadır. Deneyler, yaklaşık 4,2 GB boyutunda ve 223000'den fazla etiketli görüntü içeren büyük bir Kaggle halka açık veri kümesi üzerinde gerçekleştirilmiştir. İlk olarak, veriyi tanımak ve kalitesini ölçmek için kapsamlı bir keşifsel veri analizi yapılmıştır. Çalışma kapsamında bozuk dosya, etiket, format, görsel boyut, dosya boyutu, renk modu, parlaklık, kontrast ve arka plan karmaşıklığı gibi görsel özellikler analiz edilmiştir. Daha sonra temsileyeti yüksek test ve eğitim küme sayısını belirlemek için Cochran ve görüntünün önemli özelliklerinin varyansı kullanılarak Neyman paylaştırması uygulandı. Daha sonra görsellerin seçilmesi için ise MobilNetV2, PCA ve MiniBatchKMeans kullanılmıştır. Temsiliyeti yüksek örneklemler, hesaplama maliyetini azaltırken daha çok deney yapmaya imkan tanımıştır. Keşifsel veri analizi sonucunda belirlenen anomalileri dikkate alacak biçimde, ön işleme aşamasında modelin bu örüntülere uyumunu artırmayı hedefleyen adaptasyon ve veri artırma işlemleri uygulanmıştır. Performans analizi amacıyla EfficientNet-V2-S, ConvNeXt-Tiny, EfficientNet-B4, ResNet-50 ve MobileNet-V3-Large olmak üzere beş farklı CNN mimarisi deneysel olarak değerlendirilmiştir. Her bir model %90'ın üzerinde doğruluk oranına ulaşmış olup; öne çıkanlar ise %99'a yakın doğruluk oranıyla statik ASL tanıma konusundaki güçlerinin sağlam bir kanıtını sunmuştur.
Özet (Çeviri)
The American Sign Language (ASL) alphabet is a key research area in technology, aimed at helping people with hearing or speech difficulties communicate better. This study focuses on automatically recognizing the 26 ASL letters, plus the delete, nothing, and space signs, using deep learning. Experiments were conducted on a large public dataset from Kaggle, containing over 223000 labeled images and taking up about 4.2 GB. First, a detailed Exploratory Data Analysis (EDA) was carried out to check the data quality. Visual details like corrupt files, image sizes, formats, brightness, contrast, and background complexity were examined. Then, to determine the best size for the training and test sets, Neyman allocation was applied based on Cochran's formula and image feature variance. After that, MobilNetV2, PCA, and MiniBatchKMeans were used to select the images. Utilizing these representative samples reduced computing costs and allowed for more experiments to be run. During preprocessing, adaptation and data augmentation techniques were applied to handle the anomalies found earlier, helping the model fit the data better. To test performance, five different CNN architectures were evaluated: EfficientNet-V2-S, ConvNeXt-Tiny, EfficientNet-B4, ResNet-50, and MobileNet-V3-Large. Every model scored over 90% accuracy, and the best ones reached nearly 99%, proving effective at static ASL recognition.
Benzer Tezler
- Makine öğrenmesi algoritmalarıyla Türk işaret dilinde harf ve dinamik sözcük tanıma
Alphabet and dynamic word recognition in Turkish sign language with machine learning algorithms
ZEKERİYA KATILMIŞ
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiElektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Yeni Cami'nin akustik açıdan performans değerlendirmesi
Evaluation of the acoustical performance of the New Mosque
EVREN YILDIRIM
Yüksek Lisans
Türkçe
2003
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. SEVTAP YILMAZ DEMİRKALE
- Deep learning based dynamic turkish sign language recognition with leap motion
Derin öğrenme tabanlı leap motıon ile dinamik türk işaret dili tanıma
BURÇAK DEMİRCİOĞLU KAM
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Machine learning techniques for surface electromyography based hand gesture recognition
Yüzey elektromiyografi temelli el jesti tanıma için makine öğrenmesi teknikleri
ENGİN KAYA
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Building energy efficiency: A data-driven machine learning approach for energy optimization
Bina enerji verimliliği: Enerji optimizasyonu için veriye dayalı makine öğrenmesi yaklaşımı
AHMAD REZA DARABI
Yüksek Lisans
İngilizce
2025
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilimi ve Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA BERKER YURTSEVEN