Development of adaptive human-computer interaction games to evaluate attention
Dikkat seviyesini değerlendirmek için adaptif insan-bilgisayar etkileşimi oyunlarının geliştirilmesi
- Tez No: 519036
- Danışmanlar: DOÇ. DR. HATİCE KÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 71
Özet
Bu çalışmada insanda dikkati ve duyusal motor koordinasyonunu iyileştirme amacıyla geliştirilmiş ve gerçeklenmiş değişik kinect bazlı oyun sunulmuştur. Bu oyunların arayüzü ve zorluk seviyesi farklı yaş gruplarının kolay kullanımına yönelik tasarlanmıştır. Meyve toplama ve masa hokeyi gibi oyunlar insan bilgisayar etkileşimi içindeki temel görevlerin yerine getirebilmesi için fiziksel aktiviteler içerir ve oyundaki değişken parametrelere bağlı bir adaptif zorluk sistemine sahiptir. Son yıllarda oyunlar öğrenme kapasitesini artırmada ve bilişsel yeteneklerin geliştirilmesinde başarıyla kullanılmıştır. Ayrıca bazı çalışmalarda özel bir amaçla dizayn edilmemiş oyunlarında benzer yeteneklerin geliştirilmesinde yardımcı olduğu gözlemlenmiştir. Bazı oyunlar oyuncularını oyun hakkındaki stratejiler için düşünmeye ve oyundaki performanslarını artırabilmeleri için oyun üzerine konsantre olmaya sevkeder. Oyunlar dikkat seviyesinin (Dikkat zihinsel odaklanmanın yoğunluğunu temsil eder. Dikkat seviyesi kullanıcı tek bir düşünceye veya objeye odaklandığında artar, odaklanması dağıldığında azalır), planlama ve duyusal motor koordinasyonu yeteneklerinin geliştirilmesinde yardımcı olduğu ve insanların oyunlarda aynı amaçla hazırlanmış eğitimsel veya terepatik aktivitelerden daha fazla zaman geçirmeye yatkın olduğu için faydalı bir yöntemdir. Fakat oyunların en önemli dezavantajlarından biri oyunlar oynanırken hareketsiz kalınmasıdır. Bu oyunlar yine de bilişsel yeteneklerin gelişmesine yardımcı olsa da, uzun vadede fiziksel olarak sağlıksız olunmasına sebebiyet verebilir. Ayrıca fiziksel aktiviteler kendi başlarına bilişsel zekanın artmasına yardımcı olabilir çünkü bu aktiviteler insanların duyusal motor koordinasyonunun gelişmesine faydalıdır. Fiziksel aktiviteler ile oyunları birleştirmek, öğrenme deneyimini artırmaya ve uzun sürelerce hareketsiz kalmayı engellemeye yardımcı olacağı için yararlıdır. Bu çalışmada iki farklı kinect bazlı oyun, fiziksel aktivite tabanlı oyunların insanların bilişsel yeteneklerini, onları oyunda başarılı olmaya teşvik ederek artırdığını göstermek amaçlı dizay edilmiş ve geliştirilmiştir. Bu çalışma bu oyunların sonuçlarını ve istatistik analizlerinide içermektedir. Meyve toplama oyununda oyuncu ekranda düşen meyveler görecektir. Oyundaki amaç elmaları toplarken armutlardan uzak durmaktır. Oyuncunun eli meyve toplayan sepeti kontrol etmektedir. Toplanan her elma oyundaki skoru bir artırmakta, toplanan her armut oyundaki skoru bir azaltmatadır. Oyunda üç farklı zorluk seviyesi vardır. Her seviye de ortalama meyve düşme hızı artmaktadır. Her meyvenin ayrı bir düşme hızı vardır ve her seviye için belirlenmiş belli aralıklar için rastgele seçilmektedir. Meyvenin tipi (elma veya armut) rastgele seçilmektedir. Her zorluk seviyesinin maximum skoru 10 dur (her seviye de 10 tane elma oluşturulmuştur). Masa hokeyi oyuncu bilgisayara karşı gol atmaya çalışacaktır. Oyuncunun eli oyundaki sürücüyü kontrol edecektir. Oyuncu ve bilgisayar diske vurarak rakip kaleye gol atmaya veya kendi kalelerini korumaya çalışacaktır. Oyunda herhangi bir skor kısıtlaması yoktur, istenildiği kadar oynanabilir. Oyuncunun eli iki oyunda da kinect sensörüyle algılanmaktadır. Adaptif zorluğun amacı oyuncuları oyunda ilgili tutmaktır. Eğer oyuncunu performansı düşük ise, oyun oyuncuya daha iyi oynayabilmesi için yardım edecek ve oyunun zorluğunu düşürecektir. Eğer oyuncunu performansı yüksek ise, oyun oyuncuyu zorlamak için oyunun zorluğunu artıracaktır. Her iki durumumda da adaptif zorluk oyunların daha zevkli olmasına yardımcı olacaktır. İki farklı kinect oyununun yanı sıra myo kol bandı bazlı bir oyun ve beyin bilgisayar arayüzü (BCI) bazlı bir oyun geliştirilmiştir. Myo kol bandı bazlı oyunda kol hareketleri kol bandından gelen elektromiyografi (EMG) sinyaller ile makine öğrenmesi yöntemleri kullanılarak algılanmış ve bu kol hareketleri ile oyun oynanması sağlanmıştır. Beyin bilgisayar arayüzü bazlı oyunda ise mindwave isimli cihaz aracılığıyla kullanıcının elektroensefalografi (EEG) sinyalleri makine öğrenmesi yöntemleriyle algılanarak fiziksel bir robotun kontrol edilmesinde kullanılmıştır. Bu iki oyunda deneyler sırasında başka kullanıcılarla test edilmemiştir. Oyunlar duyma güçlüğü çeken çocuklarla (3.5 ile 5 yaşları arası) başka bir projedeki ana testlerinden önce, onların stresini azaltmak, eğlenmelerini sağlamak, dikkat seviyelerini ve duyusal motor koordinasyonlarını artırmak için denenmiştir. İki oyunun sonuçları ve terapist ve pedagogların değerlendirmeleri oyunların çocuklar üzerinde pozitif bir etkisi olduğunu göstermektedir.Oyunlar ayrıca yetişkin deneklerlerdede oyun oynarken ki dikkatlerini ölçmek için mobil bir EEG cihazıyla denenmiştir. Çocuk deneklerde bu EEG cihazı, diğer projedeki ana testlerinde de bir EEG cihazı kullandıklarından dolayı kullanılmamıştır. Yetişkinlerle yapılan deneylerde mindwave isimli beyin bilgisayar arayüzü ve EEG cihazı beyin dalgalarının oyun oynanırken ve sabit dururken toplanmasında kullanılmıştır. Bu deneylerde sadece dikkat seviyesi verisi toplanmıştır. Dikkat seviyesinin değeri 0 ile 100 arası değişmektedir. Dikkat seviyesi bilgisi EEG cihazını kullanan kullanıcının konsantrasyonunun beyin dalgaları aracılığıyla ölçülmesiyle elde edilmektedir. Bu veri bize oyunu oynayan kişinin oyuna dikkatini verip vermediğini gösterecektir. Kullanıcıların oyunu oynarken ölçülmüş dikkat seviyeleri ile karşılaştırabilmek için kullanıcılar oyunu oynamadığı ve sabit durduğu periyotlarda da dikkat seviyeleri ölçülmüştür. Oyun oynarken alınan dikkat seviyeleri verilerinin sabit dururken alınan dikkat seviye verilerinden daha yüksek olacağı tahmin edilmektedir. Bu fiziksel aktivite tabanlı oyunlarında bilişsel aktiviteleri artırdığı iddaasını destekleyebilir. Çocuklarla yapılan deneylerde sadece oyunlardaki skorların verisi toplanmıştır. Bu sonuçlar oyunu oynayanlar ile skorları arasında bir ilişkiyi göstermektedir. Bu çalışmadaki deneyler fiziksel aktivite tabanlı oyunların dikkat seviyesinin artmasında yardımcı olduğunu ve öğrenme süreçlerinin daha verimli olmasına yardımcı olduğunu göstermektedir. İlk önce 6 tane yetişkin denek ile yapılan testler sonrasında 12 tane koklear implant giyen çocuk üzerinde duyma testlerinden önce bir ödül olarak ve motivasyonlarını artırmak amaçlı yapılmıştır. Sonuçlar ise ümit vericidir. Çocukların motive oldukları, eğlendikleri ve oyuna kendilerini hızlı bir şekilde adapte ettikleri gözlemlenmiştir. Mindwave isimli cihaz duyma testlerinde de başka bir EEG cihazı kullanıldığından ve streslerini azaltmak amacıyla çocuklarda kullanılmamıştır. Gelecek çalışmalarda kullanılması planlanmaktadır. Sonuçlar ve terapistlerin ve deneycilerin gözlemleri her iki oyununda bütün denekler tarafından eğlenceli bulunduğunu göstermektedir. Ayrıca bu oyunlar insanlarda oynanması için fiziksel aktivite gerektirdiğinden dolayı insanların fiziksel olarak sağlık olmasında yardımcı olmaktadır. Her iki oyununda performans sonuçları oyunların her yaş aralığı için uygun olduğunu göstermektedir. Bu bilgi çalışmayı daha değerli kılmaktadır çünkü bu çalışma her yaştan insana öğrenme kapasitesini artırma, fiziksel olarak sağlıklı olma ve eğlenme konularında yardımcı olabilmektedir. Bu çalışma duyma güçlüğü çeken çocukların rehabilitasyonunda kullanılacak yardımcı robotik platform projesinin plot projelerinden birisidir. Bu oyunların robotlar yardımıyla kullanılması, robotların bu oyunların bir parçası olarak geri bildirim vermesi planlanmaktadır. Bu oyunlar terapistlerin çalışma duyma güçlüğü çeken çocuklar ile robotlar arasında bir iletişim köprüsü kurmasına ve çocukların robotlara alışmasına yardımcı olacaktır. Ayrıca adaptif zorluk seviyeleri oyuncuları oyunda ilgili tutacaktır. Çocukların duyusal motor koordinasyonlarının iyileştirilmesi, dikkat seviyelerinin artırılması ve reaksiyon sürelerinin düşürülmesi planlanmaktadır.
Özet (Çeviri)
In this work, several physical activity based Human-Computer Interaction(HCI) games which are developed and implemented for the improvement of attention, emotion and sensory-motor coordination will be presented. The interface, and difficulty levels of these games are specially designed for the ease of different age groups and disabilities. The games involve physical activities for the fulfillment of some basic tasks within the HCI, such as fruit picking and air hockey, with adaptive difficulty levels based on varying parameters of the games and human performance. In the fruit picking game, the player will see a number of fruits moving from top to the bottom of the screen. Objective is to collect apples while avoiding the pears. The player's hand will control the basket that collects the fruits. In the air hockey game, the player will try to score goals against computer controlled player. The player's hand will control the paddle. Both of the players will try to hit the puck to score or to defend their goals. The player's hand is recognized by Kinect RGB-D sensors in both games. Aim of the adaptive difficulty based system is keeping the players engaged in the games. Games with fixed parameters are found to be less engaging over time especially with children under special treatment or education and reduces the player performance. Also these games target children with disabilities in the long run, and adaptivity of difficulty makes the games appropriate for a larger target group. If the player's performance is relatively low, game will help them play better by decreasing the difficulty. If the player's performance is relatively high, game will increase the difficulty to increase the challenge. In both cases, adaptive difficulty system makes the games more enjoyable. The games are tested with a group of deaf children (3.5-5 years) as a part of the pilot studies of an ongoing project, to decrease the stress of the children, and increase their positive emotions, attention and sensory-motor coordination before the main tests. Both the game results, the evaluation of the therapists and the pedagogues show that the games have a positive impact on the children. The games are also tested with a group of adults as a control group and the attention levels of the adults were also observed via mobile EEG device. The children to use the EEG device in the main tests therefore the device was not integrated to their game sessions.
Benzer Tezler
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Emotional awareness based adaptive social navigation for humanoid robots
İnsansı robotlar için duygusal farkındalığa dayalı uyarlanabilir sosyal navigasyon
BARIŞ BİLEN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Using task-based visual attention for continually improving the performance of autonomous game agents
Otonom oyun ajanlarının performansını sürekli iyileştirmek için görev tabanlı görsel dikkat kullanımı
EREN ULU
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TUNCA DOĞAN
DOÇ. DR. UFUK ÇELİKCAN
- Dokunma dinamiği ile mobil kullanıcılar için kimlik doğrulama
Mobile user authentication using touch dynamics
RIDVAN ÖZGÜVENİR
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. MUHAMMED OĞUZHAN KÜLEKCİ
- Soft reliability in new product development: An ontological approach for utilizing field feedback to dynamically sense and adapt to evolving global markets
Başlık çevirisi yok
AYLİN KOCA
Doktora
İngilizce
2010
Endüstri Ürünleri TasarımıTechnische Universiteit EindhovenPROF. DR. AARNOUT BROMBACHER
PROF. FARROKH MISTREE