Geri Dön

Artırılmış gerçeklik ve derin öğrenme tabanlı mobil dil öğrenme uygulaması

Augmented reality and deep learning-based mobile language learning application

PDF İndir

  1. Tez No: 995029
  2. Yazar: TOLGA TANRISEVER
  3. Danışmanlar: DOÇ. DR. RUKİYE KARAKIŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Derin öğrenme, artırılmış gerçeklik, oyun geliştirme, ses sınıflandırma, ses-metin analizi, Deep learning, augmented reality, game development, audio classification, speech-to-text analysis
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Sivas Cumhuriyet Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Yapay Zeka ve Veri Bilimi Ana Bilim Dalı
  12. Bilim Dalı: Yapay Zeka ve Veri Bilimi Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Artırılmış gerçeklik (AR: Augmented Reality) ve yapay zekâ (YZ), günümüzde birçok alanda gelişimin öncüsü olan teknolojilerdir. AR, gerçek dünya ortamında sanal bilgilerin görselleştirilmesini sağlayarak kullanıcıların algısını zenginleştirir. Derin öğrenme (DL: Deep Learning), YZ'nin temel alt alanlarından biri olup; medikal görüntüleme, robotik, görüntü işleme, otonom araçlar ve doğal dil işleme gibi birçok disiplinde aktif olarak kullanılmaktadır. Yabancı dil (FL: Foreign Language) öğrenimi, özellikle konuşma ve telaffuz becerilerinde yaşanan güçlükler nedeniyle hâlâ önemli bir pedagojik sorundur. Geleneksel öğretim yöntemleri, öğrencilerin dili aktif olarak üretmesine yeterli fırsat tanımamaktadır; bu da bireylerin gerçek iletişim ortamlarında özgüvenli şekilde kendilerini ifade etmelerini ve telaffuz becerilerinin gelişimini yavaşlatmaktadır. Bu bağlamda, AR ve otomatik konuşma tanıma (ASR: Automatic Speech Recognition) teknolojilerinin bir arada kullanımı, dil öğrenimini daha etkileşimli ve kişiselleştirilebilir hale getirme potansiyeline sahiptir. AR teknolojisi, dijital içerikleri fiziksel dünyaya entegre ederek soyut kavramların somutlaştırılmasını sağlar ve çoklu-duyusal öğrenme ortamları oluşturur. Mobil cihazlarla çalışan AR uygulamaları, kullanıcı merkezli etkileşimli öğrenme deneyimleri sunarak motivasyonu artırmaktadır ve öğrenme kalıcılığını güçlendirmektedir. Bu sebeple, bu çalışma; kullanıcıların telaffuzunu kontrol ederek yabancı dilde kelime öğrenimini destekleyen“WordVisionMagic”isimli bir mobil uygulama geliştirmeyi amaçlamıştır. Çalışmada, konuşmadan metine (STT: Speech To Text) dönüştürme için literatürde önerilen güncel açık kaynak DL modelleri, doğruluk, hız, kaynak verimliliği ve fonetik hassasiyet ölçütleriyle sistematik biçimde karşılaştırılarak, farklı kullanım senaryolarına en uygun olanlar belirlenmiştir. Özellikle çalışmada, Unity gibi oyun motorlarında mobil entegrasyona en uygun, güvenilir ve düşük gecikmeli DL modelinin belirlenmesi hedeflenmiştir. Ardından seçilen bu DL modeli ince ayar (FT: Fine Tuning) ve bilgi damıtımı (KD: Knowledge Distillation) yöntemleri ile optimize edilerek Unity oyun motoru ile AR ortamına entegre edilerek nihai dil öğrenme uygulamasının geliştirilmesi tamamlanmıştır. Çalışmada, deneysel değerlendirmede Whisper modelleri (whisper tiny, whisper large, whisper turbo), Silero Distil-Whisper, Meta MMS ve Wav2Vec2 modelleri incelenmiştir ve her bir modelin güçlü ve zayıf yönleri hedef uygulama gereksinimleri bağlamında yorumlanmıştır. Elde edilen bulgular, mobil ve kaynak kısıtlı cihazlarda düşük gecikme, sınırlı bellek kullanımı ve kabul edilebilir doğruluğu birlikte sunması nedeniyle Whisper tabanlı DL yaklaşımının en uygun seçenek olarak öne çıktığını göstermiştir. Ayrıca seçilen Whisper modeli üzerinde uygulanan FT ve KD yöntemlerinin etkisi de çalışmada analiz edilmiştir ve öğrenci modelin boyut–gecikme–doğruluk dengesi açısından anlamlı iyileşmeler sağladığı görülmüştür. Geliştirilen AR ve YZ tabanlı bu yaklaşım, çocukların yabancı dil eğitimine yönelik ilgilerini artırabilir ve daha kalıcı bir öğrenme ortamı sağlayabilir.

Özet (Çeviri)

Augmented reality (AR) and artificial intelligence (AI) are among today's leading technologies driving progress across many domains. AR enriches user perception by enabling the visualization of virtual information within real-world environments. Deep learning (DL), a core subfield of AI, is actively used in disciplines such as medical imaging, robotics, computer vision, autonomous vehicles, and natural language processing. Foreign language (FL) learning remains a significant pedagogical challenge, particularly due to difficulties in speaking and pronunciation skills. Traditional teaching methods often do not provide sufficient opportunities for learners to actively produce the language, which can slow down the development of pronunciation skills and reduce learners' confidence in real communication settings. In this context, combining AR with automatic speech recognition (ASR) technologies has the potential to make language learning more interactive and customizable. AR integrates digital content into the physical world, helping to concretize abstract concepts and create multisensory learning environments. Mobile AR applications offer user-centered, interactive learning experiences that increase motivation and strengthen learning retention. Accordingly, this study aims to develop a mobile application named“WordVisionMagic”that supports foreign language vocabulary learning by evaluating users' pronunciation. In the study, state-of-the-art open-source DL models proposed in the literature for speech-to-text (STT) conversion were systematically compared in terms of accuracy, speed, resource efficiency, and phonetic sensitivity, and the most suitable options for different usage scenarios were identified. In particular, the study targets selecting a reliable, low-latency DL model that is well suited for mobile integration in game engines such as Unity. The selected DL model was then optimized through fine-tuning (FT) and knowledge distillation (KD) and integrated into an AR environment using the Unity game engine to complete the development of the final language-learning application. In the experimental evaluation, Whisper models (Whisper Tiny, Whisper Large, Whisper Turbo), Silero, Distil-Whisper, Meta MMS, and Wav2Vec2 were examined, and the strengths and weaknesses of each model were interpreted in the context of the target application requirements. The findings indicate that a Whisper-based DL approach emerges as the most suitable option for mobile and resource-constrained devices, as it provides low latency, limited memory usage, and acceptable accuracy simultaneously. In addition, the effects of FT and KD applied to the selected Whisper model were analyzed, and the student model was observed to yield meaningful improvements in terms of the size–latency–accuracy trade-off. This AR- and AI-based approach may increase children's interest in foreign language learning and provide a more sustainable learning environment.

Benzer Tezler

  1. Tez No

    752788

    Learners' reflections on experiencing augmented reality in the English classroom at tertiary level

    Yükseköğrenim düzeyinde İngilizce sınıfında artırılmış gerçeklik deneyimlerine yönelik öğrenci yansıtmaları

    OZAN VARLI

    Doktora

    İngilizce

    İngilizce

    2022

    Eğitim ve Öğretimİstanbul Üniversitesi-Cerrahpaşa

    Yabancı Diller Eğitimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖZLEM ETUŞ

  2. Tez No

    1009677

    A mobile-based E-commerce platform enhanced with augmented reality and AI-powered virtual try-on technology

    Artırılmış gerçeklik ve yapay zekâ destekli sanal deneme teknolojisi ile geliştirilmiş mobil tabanlı bir e-ticaret platformu

    MUHAMMAD HAMZA

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBeykoz Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    Assist. Prof. ÖZLEM FEYZA ERKAN

  3. Tez No

    636478

    Argent: A web based augmented reality framework for dynamic content generation

    Argent: Web tabanlı dinamik içerik destekli artırılmış gerçeklik geliştirme altyapısı

    GÖKHAN KURT

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı (disiplinlerarası)

    DR. ÖĞR. ÜYESİ GÖKHAN İNCE

  4. Tez No

    989561

    Assessing the effectiveness of enhancements and modified Yolov11 in malaria detection on microscopic small objects

    Mikroskobik küçük nesnelerde sıtma tespitinde iyileştirmelerin ve modifiye Yolov11'in etkinliğinin değerlendirilmesi

    SHAHD HASHIM HASSAN ABDALGADIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Elektrik ve Elektronik MühendisliğiSakarya Uygulamalı Bilimler Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALİ FURKAN KAMANLI

  5. Tez No

    841682

    5G new radio millimeter-wave beam tracking using deep learning

    Derin öğrenmeyi kullanarak 5G yeni radyo millimetre dalgalar ışın takibi

    NAJIULLAH HAKIM

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiKocaeli Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ADNAN KAVAK

Geri Dön