Design and development of audio-emotional serious games for audiology therapy

Odyoloji terapisi için işitsel-duygusal ciddi oyunlar tasarlama ve geliştirme

PDF İndir

Tez No: 807301
Yazar: EGE VERİM
Danışmanlar: PROF. DR. HATİCE KÖSE
Tez Türü: Yüksek Lisans
Konular: Bilim ve Teknoloji, Science and Technology
Anahtar Kelimeler: Belirtilmemiş.
Yıl: 2023
Dil: İngilizce
Üniversite: İstanbul Teknik Üniversitesi
Enstitü: Lisansüstü Eğitim Enstitüsü
Ana Bilim Dalı: Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı
Bilim Dalı: Oyun ve Etkileşim Teknolojileri Bilim Dalı
Sayfa Sayısı: 81

Özet

Son yıllarda teknolojik aletlerin kullanımının artması ile birlikte insanların günlük yaşantısında oyun oynama eylemi de büyük yer kaplamaya başlamıştır. Bu talebe karşın dijital oyun sektörünün hızla gelişmesi ile birlikte, dijital oyun sektörü eğlence sektöründe büyük bir pay sahibi konuma gelmiştir. Çok geniş bir tür yelpazesini bünyesinde barındıran dijital oyun dünyasında, oynayanları eğlendirmekten çok onlara bir konuda bilgi, eğitim, terapi vermek gibi amaçlar taşıyan ciddi oyun kavramı oluşmuştur. İnsanların çevresiyle etkileşime geçmesinin temel taşı iletişimdir. İletişim insanların günlük yaşamlarının vazgeçilmez bir olgusudur. İletişimin etkin bir şekilde gerçekleştirilmesini sağlayan en önemli unsurlardan birisi ise duygulardır. Dünya üzerindeki insanların birçok farklılıkları olsa da hepsinde ortak olan kavram insanların duygularıdır. Duygular inşaların günlük yaşamlarındaki her düşünceyi veya davranışı etkileyen çok önemli bir yapı taşıdır. İnsanların çevreleriyle iletişimdeyken duygularını doğru bir şekilde karşı tarafa ifade edebilmesi ve karşı tarafın duygularını anlayabilmesi düzgün ve verimli bir iletişim kurulması açısından çok önemlidir. Duygularını doğru bir şekilde aktaramayan bireyler çevreleri tarafından düzgün anlaşılamamakta ve bu durum bireylerin sosyal adaptasyonlarını zorlaştırmakta ve çevreleri tarafından dışlanmalarına sebep olmaktadır. Bu noktada özellikle ilkokul ve ortaokul düzeyinde işitme engelli öğrenciler akranlarıyla iletişim kurarken duygularını ifade etmekte ve akranlarıyla diyaloglarında aktarılan duyguları anlamakta güçlük yaşamaktadırlar. Bu tez kapsamında, çevresiyle etkili iletişim kurmakta güçlük çeken çocuklara yardımcı olacak, sesten duygu analizi mekaniği içeren iki ciddi oyun projesi tasarlanmıştır. Literatür taraması yapılırken, duygu, duygu ifadesi, ciddi oyunlar gibi konularda yapılan bilimsel çalışmalar incelenmiş, terapi alanında tasarlanan ciddi oyun projelerini içeren birçok bilimsel araştırmaya göz atılmıştır. Tüm bu bilimsel makalelerden ve benzer çalışmalardan edinilen bilgiler ile oyun tasarlama ilkeleri birleştirilerek, deneye katılan katılımcıların verdikleri puanların gösterdiği üzere, oynaması kolay, eğlenceli ve keyifli ciddi oyunlar tasarlanmıştır. Proje kapsamında geliştirilen ilk oyun 2 boyutlu bir sonsuz koşu oyunudur. İlk oyun projesinin ismi EmotiRUN'dır. Oyun hedef kitle çocuklar için olabildiğince basit ve kolay oynanabilir olacak şekilde tasarlanmıştır. Oyuncuların oyundaki ana amacı bir oyun turunda kazanabildikleri en yüksek puanı kazanmaktır. Oyun üç ana duyguya odaklanmaktadır. Bu duygular mutluluk, üzgünlük ve kızgınlıktır. Bu duygular oyun içerisinde hayvan sembolleri ile gösterilmektedir. Sırasıyla; maymun mutluluğu, kuş üzgünlüğü ve yılan kızgınlığı temsil etmektedir. Oyun içerisinde oyuncular, kontrol ettikleri karakterler ile doğru zamanda zıplayarak platformlar arasında geçmeye ve boşluklara düşmemeye çalışmaktadırlar. Aynı zamanda oyun içerisinde ilerlerken platformların üzerlerinde bulunan hayvan objelerini toplayarak puan kazanmaktadırlar. Oyun süresince aynı hayvan objesinden 20 adet topladıklarında, oyuncuların karşısına ilgili hayvanla alakalı duygu görevi gelmektedir. Bu görevi başarıyla tamamlayan oyuncular oyun içerisinde ekstra skor kazanmaktadırlar. Oyun içerisinde oyuncular karakterleri ile doğru zamanda zıplayamaz veya bir platforma çarpıp boşluğa düşerlerse oyun sona ermektedir. Araştırma için geliştirilen ikinci oyun 2.5 boyutlu bir sürükle bırak oyunudur. İkinci oyunun adı EmotiFARM'dır. Oyun içerisinde birçok farklı oyun objesi ve mekanik bulunmaktadır. Oyun toplam 10 farklı seviyeden oluşmaktadır. Oyun seviyeleri içerisinde farklı hayvanlar bulunmakta ve bu hayvanları 3 farklı ihtiyacı olmaktadır. Bu ihtiyaçlar su, yemek ve ilgidir. Oyuncular oyun içerisinde bu ihtiyaçlara uygun objeleri seçerek ilgili hayvana fırlatmaları gerekmektedir. Oyuncular sırasıyla su için su bidonu objesini, yemek için mantar objesini ve ilgi için top objesini seçmelidirler. Eğer oyuncular doğru objeyi doğru hayvana fırlatabilirlerse puan kazanmaktadırlar. Oyuncuların her seviye içerisinde 3 hamle ve 3 adet her oyun objesinden seçme hakları bulunmaktadır. Oyuncuların bu hakları biterse, karşılarına duygu görevi paneli gelmektedir. Bu ekranda eğer oyuncular görevi başarıyla tamamlayabilirlerse oyun içi hamle hakkı veya oyun içi obje kazanmaktadırlar. Bir seviye içerisindeki tüm ihtiyaç ve görevler tamamlandığında seviye sona ermektedir. Toplam 10 seviyeyi başarıyla tamamlayan oyuncular oyunu bitirmiş olmaktadır. Her iki proje de Unity oyun motoru kullanılarak geliştirilmiştir. Unity oyun motorunun oyun tasarımı için sağladığı rahat kullanım arayüzü, çoklu platform desteği ve gerekli birçok araç ve asset barındırmasının yanı sıra oyun içerisinde kullanılan ses üzerinden duygu analizi yapmaya yarayan yapay zeka programının Unity oyun motoru ile kolayca entegre olabilmesi, diğer oyun motorları arasından Unity oyun motorunun seçilmesinde etkili olmuştur. Oyunlar tasarlanırken çocukların ilgisini çekecek karikatürize grafikler, sevimli objeler ve sesler kullanılmıştır. Tasarım sürecinde, seviyelerin tasarımı ve kullanıcı arayüzü tasarımı sade, estetik, kolay anlaşılabilir ve rahat kullanışlı tasarlanmıştır. Çocukların dikkati kolay dağılabildiğinden kafa karıştırıcı ve karmaşık tasarımdan kaçınılmıştır. Oyunların içerisinde sesten duygu analizi yapabilmek için entertAIn play isimli program kullanılmıştır. entertAIn, devAIce ürünü tarafından desteklenen audEERING GmbH isimli şirket tarafından geliştirilen yapay zeka ile ses üzerinden duygu analizi yapabilen bir eklentidir. Araştırma kapsamında şirket ile iletişime geçilmiş ve onlar da bu projeyi ücretsiz akademik lisansları ile desteklemeyi kabul etmişlerdir. Bu program kullanılarak oyunlar içerisinde oyuncuların seslerinden mutluluk, üzgünlük ve kızgınlık duyguları gerçek zamanlı olarak herhangi bir bulut sunucusuna veri gönderilmeden yerel cihaz üzerinden gerçek zamanlı olarak analiz edilmiştir. Oyunlar içerisindeki duygu görevlerinde oyuncular başarısız olurlarsa herhangi bir ceza veya dezavantaj olmadan oyuna devam edebilmektedirler. Bu yöntemle çocukların oyun şevkinin kırılmaması, oyun oynamaya ilgiyle devam etmeleri ve terapi süreçlerini olumlu şekilde sürdürmeleri amaçlanmıştır. Araştırma kapsamında oyun deneyleri 11 katılımcı ile gerçekleştirilmiştir. Hedef kitle özellikle işitme engelli çocuklar olmakla birlikte, araştırma içerisindeki oyunlar işitme engelli, otistik, disleksik ve normal gelişim gösteren çocuklar üzerinde test edilmiştir. Katılımcılardan 5'i işitme cihazı kullanan işitme engelli, 1'i otizmli, 1'i disleksi, 4'ü ise normal gelişmiş çocuklardır. Katılımcıların 4'ü kadın 7'si erkek ve yaşları 10 ile 16 arasındadır. Çalışma kapsamında ilk oyun 5 defa, ikinci oyun ise 10 seviye üzerinden maksimum 30 dakika test edilmiştir. Deney seansları sonunda katılımcıların oyunların özellikleri ilgili görüşleri 7 ana başlık altında 14 maddenden oluşan 5'li likert tipi bir ölçek kullanılarak kaydedilmiştir. Deney süresince hiçbir katılımcıya ek açıklama yapılmamış, oyunları kendi başlarına çözmeleri ve oynamaları beklenmiştir. Deneye katılan katılımcıların, oyun test sürecinde her iki oyunu da büyük bir ilgi, eğlence ve coşkuyla oynadıkları görülmüştür. Test sonuçları incelendiğinde, normal gelişimini tamamlamış çocukların, oyunun türü ve karmaşıklığı ne olursa olsun, diğer işitme engelli, disleksik ve otizmli katılımcılara göre duygularını ses ile daha iyi ifade edebildikleri görülmüştür. İşitme engelli katılımcılar, disleksik katılımcıya oranla daha iyi sonuçlar elde etseler de ses ile duygu aktarımındaki başarı oranları birbirlerine çok yakın olduğu görülmüştür. Otizmli katılımcı ise her iki oyunda da ses ile duygu ifade etme konusunda en düşük başarı yüzdesine sahip katılımcı olmuştur. İşitme engelli katılımcılar içerisinde, daha önce konuşma terapisi alan ve almayan katılımcılar karşılaştırıldığında ise daha önceden konuşma terapisi alan katılımcıların almayanlara oranla her iki oyunda da daha başarılı olduğu görülmüştür. Katılımcıların oyun deneyimine yönelik tutumları incelendiğinde, daha basit mekaniklere sahip birinci oyunun işitme engelli, disleksik ve otizmli katılımcılar tarafından diğer oyuna göre daha kolay anlaşılır, eğlenceli ve kolay oynanabilir bulunduğu saptanmıştır. Buna karşılık, normal gelişmiş katılımcılar, karmaşık mekaniklere, farklı seviyelere sahip ikinci oyunu daha eğlenceli bulmuşlardır. Bunların dışında 2.5 boyutlu grafiklere sahip olan ve birçok çeşitli oyun objesi içeren ikinci oyun genel olarak katılımcılar arasında oynanış açısından ve görsel olarak daha çekici bulunmuştur. Deney süresince katılımcılara hiçbir ek açıklama yapılmamasına rağmen, oyuncular iki oyunu da ilk denemelerinden sonra rahatça kendi başlarına oynayabilmişler ve anlayabilmişlerdir. Bu tez çalışması kapsamında, deneye katılan katılımcıların geri dönüşlerine bakıldığında oyunları oynarken keyifli zaman geçirdikleri ve oyunlar her ne kadar ciddi oyun olsa da oynarken eğlendikleri görülmüştür. Ses üzerinden duygu analizi mekaniği oyunlara başarıyla entegre edilmiş ve oyun akışı aksamayacak şekilde kullanılabilmiştir. Ciddi oyunların odyolojik terapi alanında kullanılabileceği görülmüş ve hedef kitlesi çocuklar olan bir terapi ciddi oyun projesinin ne gibi özellikler içermesi gerektiği genel hatlarıyla saptanmıştır. Proje kapsamında iyileştirilebilecek alanlar açısından gelecekteki çalışmalar için bu çalışma kapsamında geliştirilen oyunların tekrar oynanabilirliğini arttırmak ve daha derin bir terapi oyunu deneyimi için yeni seviyeler, senaryolar, mekanikler, objeler ve duygu türleri eklenerek oyunlar genişletilebilir. Deneylere katılan işitme engelli, otizmli ve diğer iletişim sıkıntısı yaşan çocuk katılımcıların sayısı arttırılarak veri grubu genişletilip oyun tasarımları açısından daha fazla ve güvenilir geri bildirimler toplanabilir. Buna ek olarak, oyunların deney süreleri daha uzun bir döneme yayılarak ciddi oyunların terapideki kullanımlarının uzun süreli etkinlikleri belirlenebilir. Bu tez çalışmasının kapsamında sunulan ciddi oyun projeleri, gelecekteki geliştirmeler ve çalışmalar ile birlikte, odyolojik ses-duygu terapisi için en etkili şekilde tasarlanıp geliştirilecek bir ciddi oyun projesinin nasıl olması gerektiği, ciddi oyunların insanların belirli noktalardaki eksikliklerini nasıl gidermelerine yardımcı olabileceği ve ciddi oyun projelerinin rehabilitasyon sürecinde bireylerin motivasyonunu yüksek tutmalarına nasıl katkıda bulunabileceği, eğlenceli ve etkili bir terapi deneyimi yaşamalarında önemli bir rol oynayabileceği konularında ilham verici bilgiler sağlayacağı düşünülmektedir.

Özet (Çeviri)

In recent years, with the increase in the use of technological tools, the act of playing games in people's daily lives has also started to occupy a large place. With this demand and the rapid development of the digital game industry, the digital game industry has become a major shareholder in the entertainment industry. In the digital game world, which includes a wide range of genres, the concept of serious game has emerged, which aims to provide information, education and therapy on any subject rather than just entertaining the players. The cornerstone of how people interact with their environment is communication. Communication is an indispensable phenomenon of people's daily lives. Emotions are one of the most important elements that enable effective communication. Although there are many differences between people in the world, the common concept shared by all people's emotions. Emotions are a very important building block that affects every thought or behavior in people's daily lives. It is very important for people to be able to express their emotions correctly and to understand the emotions of the others while communicating with their environment, in terms of establishing a smooth and efficient communication. At this point, especially hearing-impaired students at elementary school level, have difficulty in expressing their emotions while communicating with their peers and understanding the emotions conveyed in their dialogues with their peers. Within the scope of this thesis, two serious game projects were designed to help children who have difficulties in communicating effectively with their environment, including the mechanics of emotion analysis over voice. During the literature review, scientific studies on subjects such as emotions, expression of emotions, and serious games were examined, and many scientific research papers containing serious game projects in the field of therapy were explored. By combining the information obtained from all these scientific articles and similar studies with the principles of game design, serious games that are easy to play, enjoyable, and entertaining were developed, as indicated by the ratings provided by the participants in the experiment. The first game developed within the scope of the project is a 2D endless runner game. The first game project is called EmotiRUN. The game is designed to be as simple and easy to play as possible for the target audience of children. The main aim of the players in the game is to earn the highest score they can in a game round. The game focuses on three main emotions. These emotions are happiness, sadness and anger. These emotions are shown with animal symbols in the game. Respectively; the monkey represents happiness, the bird sadness and the snake anger. In the game, the players try to jump between the platforms and not fall into the gaps by jumping at the right time with the characters they control. At the same time, they earn points by collecting animal coins on the platforms as they progress through the game. When they collect 20 pieces of the same animal coin during the game, the players are faced with the emotion task about the related animal. Players who successfully complete this task earn extra points in the game. In the game, if the players cannot jump with their characters at the right time or if they hit into a platform and fall into the gap, the game is over. The second game developed for research is a 2.5 dimensional drag and shoot game. The name of the second game is EmotiFARM. There are many different game objects and mechanics in the game. The game consists of 10 different levels in total. There are different animals in the game levels and these animals have 3 different needs. These needs are water, food and attention. Players must select the suitable objects for these needs in the game and throw them to the right animal. If players can throw the right object to the right animal, they earn points. Players have the right to make 3 moves and choose 3 game objects in each level. If the players run out of these rights, they are faced with the emotion mission panel. On this screen, if the players can successfully complete the task, they gain in game moves or in game objects. The level ends when all the needs and tasks in a level are completed. Players who successfully complete 10 levels in total are finished the game. Both projects were developed using the Unity game engine. While designing the games, cartoonish graphics, cute objects and sounds were used to attract children's attention. During the design process, the design of the levels and the user interface design were designed to be simple, aesthetic, easy to understand and comfortable to use. Confusing and complex design is avoided as children can be easily distracted. A product called entertAIn play was used to analyze emotions from the voice in games. entertAIn play is a plugin powered by devAIce developed by the company named audEERING GmbH that can analyze emotions from voice with artificial intelligence. Within the scope of the research, the company was contacted and they agreed to support this project through their free academic license. Using this tech, the emotions of happiness, sadness and anger from the voices of the players in the games were detected in real time on the device without sending the data to any cloud server. Within the scope of the research, game experiments were conducted with 11 participants. While the target audience is especially hearing impaired children, the games in the research were tested on hearing impaired, autistic, dyslexic and normally developing children. 5 of the participants are hearing impaired, 1 has autism, 1 is dyslexia and 4 is typically developed children. 4 of the participants are female and 7 are male and their ages are between 10 and 16. Within the scope of the study, the first game was tested 5 times, and the second game was tested for a maximum of 30 minutes over 10 levels. At the end of the experimental sessions, the opinions of the participants about the features of the games were recorded using a 5-point Likert-type scale consisting of 14 items under 7 main headings. No additional explanation was given to any participant during the experiment, and they were expected to solve and play the games on their own. It was observed that the participants participating in the experiment played both games with great interest, fun and enthusiasm during the game testing process. When the test results were examined, it was seen that normally developed children, regardless of the type and complexity of the game, were able to express their emotions better with voice than other participants. Although hearing impaired participants achieved better results than dyslexic participant, it was observed that the success rates in expressing emotion over voice were very close to each other. The autistic participant was the participant with the lowest percentage of success in expressing emotion with voice in both games. Among the hearing impaired participants, the participants who had previously received speech therapy were more successful in both games than those who did not receive speech therapy. When the attitudes of the participants towards the game features were examined, it was determined that the first game with simpler mechanics was found to be easier to understand, fun and easy to play by the hearing impaired, dyslexic and autistic participants than the other game. In contrast, typically developed participants found the second game with complex mechanics and different levels more enjoyable. Apart from these, the second game, which has 2.5 dimensional graphics and contains many various game objects, was generally found more attractive among the participants in terms of gameplay and visually. Within the scope of this thesis study, when the feedback of the participants participating in the experiment were examined, it was seen that they had a pleasant time while playing the games and they had fun while playing the games, even though they were serious games. The mechanics of emotion analysis over sound have been successfully integrated into the games and can be used without disrupting the flow of gameplay. It has been seen that serious games can be used in the field of audiological therapy and it has been determined in general terms what features should be included in a therapy oriented serious game project whose target audience is children. In terms of areas that can be improved within the scope of the project, new levels, scenarios, mechanics, objects and emotion types can be added for future studies to increase the replayability of the games developed in this study and for a deeper therapy game experience. By increasing the number of children with hearing impairment, autism and other communication difficulties participating in the experiments, the data group can be expanded and more and reliable feedback can be collected in terms of game designs. In addition, the long term effectiveness of the use of serious games in therapy can be determined by extending the experimental periods of the games over a longer period. It is believed that the serious game projects presented within the scope of this thesis study, along with future developments and research, will provide inspiring information on how to design and develop a serious game project in the most effective way for audiological audio-emotion therapy, how serious games can help people to overcome their deficiencies in certain points and how serious game projects can contribute to keeping individuals motivated during the rehabilitation process and play an important role in having an enjoyable and effective therapy experience.

Benzer Tezler

Tez No
445024
Yapı denetim sisteminde belediyenin karşılaştığı sorunlar ve çözüm yolları için sistem önerisi
Problems encountered by municipalities during construction control process and new system suggestions as solution
BEKİR KOCA
Yüksek Lisans
Türkçe
2016
İnşaat Mühendisliği İstanbul Teknik Üniversitesi
İnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜRKAN EMRE GÜRCANLI
Tez No
816000
Dialogue for all: Crafting inclusive and humanized voice assistants for diverse populations through an interdisciplinary approach
Herkes için diyalog: Farklı topluluklar için kapsayıcı ve insani sesli asistanlar oluşturmak üzerine disiplinler arası bir yaklaşım
YELİZ YÜCEL
Doktora
İngilizce
2023
İletişim Bilimleri Galatasaray Üniversitesi
Radyo Televizyon ve Sinema Ana Bilim Dalı
PROF. DR. KEREM RIZVANOĞLU
Tez No
773999
Okul öncesi dönem çocuklarının sosyal davranış gelişimlerinde farkındalık uygulamalarının etkisi
The effect of awareness (mindfulness) practices on the social behavior development of pre-school children
CEREN ERTEN
Yüksek Lisans
Türkçe
2022
Eğitim ve Öğretim Mersin Üniversitesi
Temel Eğitim Ana Bilim Dalı
DOÇ. DR. GÖKHAN GÜNEŞ
Tez No
828364
Social behavior learning for an assistive companion robot
Yardımcı robotlar için sosyal davranış öğrenimi
PINAR ULUER
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol İstanbul Teknik Üniversitesi
Mekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
Tez No
755756
Hayat bilgisi öğretiminde hayal gücü geliştirici etkinliklerin öğrencilerin yaratıcı hayal gücü gelişimine etkisi
The effect of the activities improving imagination in life sciences lesson on the improvement of learners's creative imagination
YILDIRAY AYDIN
Doktora
Türkçe
2022
Eğitim ve Öğretim Bursa Uludağ Üniversitesi
Temel Eğitim Ana Bilim Dalı
PROF. DR. AYNUR OKSAL

Geri Dön