Augmented reality application in education of children with autism

Otizmli çocukların eğitiminde artırılmış gerçeklik uygulaması

PDF İndir

Tez No: 907275
Yazar: ONAT KORUCU
Danışmanlar: PROF. HATİCE KÖSE
Tez Türü: Yüksek Lisans
Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
Anahtar Kelimeler: Belirtilmemiş.
Yıl: 2022
Dil: İngilizce
Üniversite: İstanbul Teknik Üniversitesi
Enstitü: Lisansüstü Eğitim Enstitüsü
Ana Bilim Dalı: Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı
Bilim Dalı: Oyun ve Etkileşim Teknolojileri Bilim Dalı
Sayfa Sayısı: 89

Özet

Otizm Spektrum Bozukluğu, sosyoekonomik durum, ırk ve etnik kökenden bağımsız olan ve yaklaşık kırk dört çocuktan birinde görülen bir rahatsızlıktır. Otizm bozukluğunda okul öncesi eğitimin önemi profesyonel eğitmenler tarafından kabul edilmektedir. Ancak otizmli okul öncesi çocuklara eğitim vermek birçok zorluğu da beraberinde getirmektedir. Bu zorluklardan bazıları, düşük dikkat süresi ve eğitime ilgi eksikliği, görsel veya işitsel ipuçlarını alamama ve egzersiz görevlerini ezberleyerek soruları yanıtlamada veya verilen problemleri çözmede gerçek anlamda bir kavrama yerine belleğe kazınmış davranışların kullanılmasıdır. Bu sırada, artan mobil cihaz kullanımı ve eğlence sektöründeki teknolojik gelişmelerin hızı ile geliştiriciler giderek daha fazla mobil oyunlara odaklanmıştır ve bu büyük şemsiyenin bir alt kümesi olan artırılmış gerçeklik oyunları da oyunculardan büyük ilgi görmektedir. Artırılmış gerçeklik, sanal bir varlığın, gerçek bir mekan üzerinde uyumlu bir şekilde konumlandırılmasını sağlayan bir teknolojidir. Artırılmış gerçeklik, gerçeklik ile dijital dünya arasındaki boşluğu doldurmuş ve böylece Ciddi Oyunlar'da kendine bir yer edinmiştir. Ciddi Oyunlar, oyunun eğitim, araştırma vb. gibi saf eğlenceden başka bir amaç edindiği bir alt türdür. Bu tez çalışmasının konusu olan oyun, otizmli çocukların ihtiyaçlarına özel olarak tasarlanmış ve geliştirilmiştir. Halihazırda otizm eğitimi ve rehabilitasyon merkezlerinde kullanılmakta olan ve literatürde başarılı olduğu ispatlanan Uygulamalı Davranış Analizi prensiplerinden yararlanılmıştır. Uygulamalı Davranış Analizi, sosyal becerileri, okuma, iletişim kurma, kelimeleri doğru telaffuz etme gibi belirli davranışları geliştirmeye odaklanan bir ilkeler bütünüdür. Bu kapsamda öğrencinin davranışları uygulamalı bir çalışma oturumu sırasında ve sonrasında analiz edilir ve dersin işleyişi öğrencinin ihtiyaçları doğrultusunda şekil alır. Uygulamalı Davranış Analizinin yüzde doksan oranında uzun vadeli pozitif gelişimsel etkileri olduğu gözlemlenmiştir. Uygulamalı Davranış Analizini pratiğe dökmenin yaygın bir metodu Ayrık Denemelerle Öğretimdir. Ayrık Denemelerle Öğretimde doğrudan yönergeler ve uyarımlar ile yeni becerilerin gelişmesi sağlanır. Önce öğrenciye bir soru sorulur ve cevaplanması beklenir. Sonrasında yeni bir soru sorulur ve süreç bu şekilde ilerler. Genellikle öğrencinin yanlış seçimi yapması engellenir veya yok sayılır. Yanlış seçim yapıldığında bu belirtilerek öğrencinin motivasyonu kırılmaz. İstenen davranışlar da ödüllendirilir. Ayrıca çalışmamızda otizmli çocukların zorluk yaşadıkları nesne sınıflandırma, genelleme ve duygu tanıma, yüz ifadesi verme konularında öğrenime destek olacak alt oyunlar tasarlanmıştır. Oyunun içerisinde iki farklı alt oyun bulunmaktadır. İki oyunumuzda da artırılmış gerçeklik teknolojisi farklı şekillerde kullanılmıştır. Birinci alt oyunda, oyuncunun mobil cihazın arka kamerası otomatik olarak açılır. Oyuncu, oyun seviyesinin görevini göz önünde bulundurarak artırılmış gerçeklik kartlarının yerlerini değiştirir ve kamerayı kartlara doğrultur. Bu oyunun altı seviyesi vardır ve her seviyede öğrencinin farklı bir görevi tamamlaması beklenir.“Bir araç kartını garaj kartının yanına koy”,“İki tane kuşu kümesin yakınına koy”vb. görevler ile çocuğun kategorizasyon (sınıflandırma) becerisi kazandırması ve edinilen becerinin korunması hedeflenir. Diğer seviye, çocukların sıkça kullanılan yüz ifadelerini öğrenmelerine yardımcı olmak için tasarlanmıştır. Bu alt oyunda önceki oyun modunun aksine mobil cihazın ön kamerası kullanılmaktadır. Bu sayede öğrencinin kendine aynada bakarmış gibi bakması sağlanır. Bu oyundayken, oyuncuya duygusal bir tepkiyi temsil eden bir yüz ifadesi gösterilir. Oyuncu bu duyguyu yüzüyle ifade etmeyi başarırsa bölümü tamamlayabilir. Telefonun ön kamerası anonim yüz verilerini yakalamak için kullanılmaktadır. Paul Eckman'ın temel yüz ifadeleri alanındaki çalışmaları baz alınarak şaşırmış, mutlu olmuş, üzgün, kızgın yüz ifadeleri çocuktan istenmiştir. Bunlara ek olarak, nötr yüz ifadesi de zaman zaman çocuklardan beklenmiştir. Oyun Unity 3D oyun motoru, yüz ifadelerini yorumlamak için Azure Face API, veri depolamak için Firebase Database ve 2D/3D sanat için üçüncü parti varlıkları ile geliştirilmiştir. Oyun geliştirildikten sonra altı ile on bir yaş arasındaki otizmli çocuklara sunulmuştur. Oyuncu oyunu oynarken anonim oturum verileri toplanmış ve veriler oyunu geliştirmek için kullanılmıştır. Ayrıca, ebeveynlerden Firebase Veritabanında depolanan ek anonim verileri isteyen bir ekran vardır. Veri toplamak amacıyla otizmli çocuklara eğitim veren Özel Eğitim Okulları ve Rehabilitasyon Merkezleri ile görüşülmüştür. Kurum müdürü, eğitmen, ve veli yazılı veya sözlü olarak bilgilendirilmiş, onayları alınmıştır. Çalışma için 5-11 yaş arası çocuklar seçilmiştir. Bu sayede ergenliğin etkileri en aza indirilmiştir. Bazı çocuklar oyunu oynamayı reddetmişlerdir. Bunun sebebi çocuğun o sırada başka bir oyun oynamak istemesi, veya o hafta rutini bozulduğundan dolayı huzursuz olması gibi sebeplerdendir. Her testten önce aile veya eğitmenden çocuğun cinsiyeti, doğum tarihi, kardeş sayısı, otizm dışındaki rahatsızlığı, elektronik cihazlarla günde ne kadar süre geçirdiği gibi anonim bilgiler istenmiş ve bu bilgiler uygulama içinden çevrimiçi kaydedilmiştir. Testler iki aşamalı yapılmıştır. İlk aşamada yedi çocuk ile çalışılmıştır. Bu çalışmadan elde edilen tecrübe ile oyun geliştirilmiştir. Bu geliştirmelerden bir tanesi çocukların bölümleri tamamlama sürelerinin otomatik olarak uygulama içinde sayılması ve çevrim içi olarak bulut sunuculara yüklenmesi işlemidir. Bir diğer önemli geliştirme de duygu tanıma oyunundan kızgın ifadenin kaldırılmasıdır. Çünkü öğrencilerin görevi anladıkları ve yüzlerini kızgın hale soktukları ancak Azure Face API'nin bunu algılamakta zorlandığı gözlemlenmiştir. Testlerin ikinci aşaması için farklı eğitim kurumlarına ziyarete gidilmiştir. Bu sefer on üç çocuk ile çalışma yapılmıştır. Bazı veriler internet bağlantı problemi gibi sebeplerle yakalanamamıştır. Çalışma sonucunda öğrencilerin sınıflandırma oyununda bölümleri giderek daha hızlı tamamladığı gözlemlenmiştir. İkinci oyunun sonuçlarında ise oldukça gürültülü bir veri elde edilmiştir. İkinci oyunda gösterilen yüz ifadesinin rastgele seçilmesi ve bazı yüz ifadelerinin diğerlerinden daha uzun zaman alması buna sebep olmuştur. Araştırma sorularımızdan biri olan demografinin AR ile gelişime etkisi için kıyas yapacak nicelikte veri toplanamamıştır. Bunun bir sebebi 2019 yılında ortaya çıkan Coronavirus salgın hastalığının çocuklarla birebir çalışmayı zorlaştırmasıdır. Çalışma sonunda çocuklara oyunu beğenip beğenmediği sorulmuştur. Oyunu oynayan on sekiz çocuğun tümünden pozitif geri bildirim alınmış, sadece oyuna katılmayan iki çocuk beğenmediklerini ifade etmişlerdir. Artırılmış Gerçeklik (AR) teknolojisinin sağladığı sürükleyici deneyim ile, geliştirilen artırılmış gerçeklik oyununun kullanımıyla yukarıda belirtilen bazı zorlukların hafifletilebileceği gözlemlenmiştir.

Özet (Çeviri)

Professional trainers accept the importance of preschool education in autism disorder. However, teaching preschool children with autism brings out many challenges. Those challenges include low attention span and lack of interest in training, inability to receive visual or aural cues, and memorizing training tasks, resulting in answering questions or solving tasks with the memorized behavior rather than actual understanding. Meanwhile, with the increased mobile device usage, and speed of the technological advancements in the entertainment industry, developers focused more and more on mobile games, and a subset of this big umbrella, augmented reality games, also caught the considerable interest of players. Augmented reality filled the gap between reality and the digital world, so it acquired a position in Serious Games. Serious Games is a sub-genre while the game has a purpose other than pure enjoyment, such as education, research, etc. With those in mind, the game that is the topic of this thesis study was designed and developed specifically for the needs of children with autism. The game has two different sub-games inside. One is for classification training, where the player ought to point the back camera of the mobile device into augmented reality cards that are positioned according to the goal of the level (“Put a vehicle card near the garage card”,“Put two birds near the coop”, etc.). The other level is designed to help children learn common facial expressions. While in this mode, the player is presented with an emoji, representing an emotional response. If the player succeeds in mimicking this emotion with their face, they can complete the level. Contrary to the previous game mode, the phone's front camera is used to capture anonymous facial data. After the game is developed, it is presented to children with autism between the ages of five to eleven. Anonymous session data is collected while the player is playing the game, and the information is used to improve the gameplay. Also, a screen asks parents for additional anonymous data stored in the Firebase Database. The game is developed with Unity 3D, Azure Face API to calculate facial expressions, Firebase Database to store data, and third-party assets for 2D and 3D art. With the immersive experience Augmented Reality (AR) technology provides, it was observed that some of the challenges mentioned above could be eased with the usage of the augmented reality game that was developed.

Benzer Tezler

Tez No
902185
Artırılmış gerçeklik teknolojisinin kullanıldığı sistematik öğretimin otizm spektrum bozukluğu olan çocukların ortak dikkat becerilerini geliştirmede etkisi
The effect of systematic teaching with augmented reality technology on joint attention in individuals with autism spectrum disorder
SELİN ÖZER
Yüksek Lisans
Türkçe
2024
Eğitim ve Öğretim Eskişehir Osmangazi Üniversitesi
Özel Eğitim Ana Bilim Dalı
DOÇ. DR. DERYA GENÇ TOSUN
Tez No
745660
Otizm spektrum bozukluğu olan öğrencilere fen konularının öğretiminde artırılmış gerçeklik uygulamasının etkililiği
Effectivenss of augmented reality for teaching science content to children with autism spectrum disorder
HİCRAN DENİZLİ GÜLBOY
Yüksek Lisans
Türkçe
2022
Eğitim ve Öğretim Eskişehir Osmangazi Üniversitesi
Özel Eğitim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DERYA GENÇ TOSUN
Tez No
821918
OSB olan çocuklara işitsel-görsel koşullu ayırt etme öğretiminde resimli kartlar ile artırılmış gerçeklik kullanımının karşılaştırılması
Comparison of picture cards and augmented reality in teaching auditory-visual conditional discrimination to students with ASD
HASAN KÖSE
Doktora
Türkçe
2023
Eğitim ve Öğretim Eskişehir Osmangazi Üniversitesi
Özel Eğitim Ana Bilim Dalı
PROF. DR. NEVİN GÜNER YILDIZ
Tez No
641954
Artırılmış gerçeklik uygulamalarının sosyal bilgiler dersinde akademik başarı ve ders tutumlarına etkisi
The effect of augmented reality applications on academic success and course attitudes in social studies
FATMA BÜŞRA AZI
Yüksek Lisans
Türkçe
2020
Eğitim ve Öğretim Necmettin Erbakan Üniversitesi
Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ŞEMSEDDİN GÜNDÜZ
Tez No
825850
Okul öncesi eğitimde artırılmış gerçeklik: Quiver uygulamasının fen öğrenimine etkisi
Augmented reality in early childhood education: The effect of Quiver application on learning science
HALE ALTINKAYNAK
Yüksek Lisans
Türkçe
2023
Eğitim ve Öğretim Burdur Mehmet Akif Ersoy Üniversitesi
Temel Eğitim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖZGE ÖZEL

Geri Dön