Spatial audio localization as a gameplay element: Design, development, and evaluation of an audio-based virtual reality game
Oyun ögesi olarak uzamsal ses lokalizasyonu: Sese dayalı bir sanal gerçeklik oyununun tasarımı, geliştirilmesi ve analizi
- Tez No: 664027
- Danışmanlar: DOÇ. DR. HATİCE KÖSE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Oyun ve Etkileşim Teknolojileri Bilim Dalı
- Sayfa Sayısı: 133
Özet
Oyunlar genellikle oyuncuyu görsel açıdan tatmin etmeye yönelik mekanikler içerir. Oyuncu her ne kadar yapılması gereken şeyi sesli bildirimlerle de takip edebilse de asıl dikkat çekme görseller aracılığıyla sağlanır. Oyuncu oyunun gördüğü durumuna göre kararlar verir ve uygular. Bu senaryoda ses geri bildirimleri oyunlarda görseller kadar öne çıkmamaktadır. Ses efektleri kullanılarak oyuncu aldığı aksiyonların sonuçları hakkında bilgi sahibi olur fakat görselin desteklemediği ses odaklı oyun tasarımları oldukça azdır. Sanal gerçeklik oyunlarında da ses, temel oyun odağının arka planındadır. Oyun görselleri ve görsel ipuçları vurgulanırken, oyunda ses ve sesli ipuçları tamamlayıcı geri bildirim olarak kullanılır. İşitme yeteneği, görme yeteneği kadar önemli bir insan duygusudur. Ses neden görseller yerine oyun deneyiminin odağı olamamaktadır? Mobil, konsol, bilgisayar, sanal gerçeklik gibi çok sayıda oyun platformu olmasına rağmen, ses odaklı oyun tasarımı örnekleri azdır. Bu çalışma, temel oyun öğesi olarak uzamsal ses konumlamayı kullanan bir oyun tasarlayıp, testleri sonucunda oyuncuların bu oyundan görsel ağırlıklı olmamasına rağmen keyif alıp alamadıklarını inceleyip çeşitli çıkarımlarda bulunmayı amaçlar. Bu sayede görme ve kısmı duyma engelli bireyler için de ulaşılabilir olacak olan sese dayalı oyun tasarımının etkilerini incelenebilir olacak. Bu şekilde yola çıkıp proje süresince sanal gerçeklik teknolojisinin baş hareketlerini algılaması ve sesi ona uygun işlemesi özelliğinden yararlanarak oyuncuya sesin konumunu algılatacak ve iki farklı karakteristik ses setinden hangisine dahil olduğuna karar verip doğru aksiyonu almasını sağlayacak oyunlar tasarladık. İlk oyun projesinin ön çalışma olması hedeflendi ve tamamen soyut ve minimal görsellerden oluşmaktadır. İkinci oyun, daha detaylı incelemeye tabi tutulan ise oyuna eklenen çevre tasarımı ve oyun deneyiminde daha fazla ayrıntıyla ilk oyunun temel özelliklerinden türetildi. İlk oyun projesi bir ön çalışma özelliğini taşımaktadır ve tamamıyla soyut ve minimal görsellerden oluşmaktadır. Hızlı prototipleme ve test süreci için sanal gerçeklik kumandalarının kullanılmadığı mobil sanal gerçeklik platformunu hedef alıp Unity oyun motorunda Google Cardboard geliştirme kitiyle geliştirilmiştir. Bu oyunda oyuncu küre bir oyun alanın ortasında konumlandırılmıştır. Kürenin çeperlerinden oyuncuya doğru aynı görünüme sahip küpler hareket etmektedir. Bu küpler aynı görünmelerine rağmen iki farklı ses setine sahiptir. Oyuncu küpleri yaydıkları sesler ile ayırt etmeli ve sonucunda ya görüşünü odaklayarak o küpü yok etmeli ya da o küpe dokunmayarak kendine çarpmasını sağlamalıdır. Ses setindeki sesler, küp ortaya çıkınca, oyuncuya doğru hareket ederken, oyuncu tarafından yok edilince ve oyuncuya çarpınca oynatılması üzerine karar verilmiş olmak üzere dört tanedir. Oyundaki ses setlerinin karakteristiği olan yok edilme ve oyuncuya çarpma senaryoları da göz önüne alınarak iyi ve kötü olarak nitelendirilmesine karar verilmiştir. İyi obje ortaya çıkarken ve oyuncuya doğru hareket ederken daha keyiflendirici sesler yayarken kötü obje daha baskılayıcı sesler yaymaktadır. İyi objenin yok edilmemesi gerekmektedir, bu yüzden yok edilirse daha üzücü bir ses efekti verilir. Hedef olan oyuncuya çarpmasında ise daha mutlu edici bir ses efekti verilir. Kötü objelerin ise yok edilmesi hedeflenmiştir bu yüzden yok edildiğinde kutlayıcı, oyuncuya çarptığında ise rahatsız edici duygulara sebep olan sesler kullanılmıştır. Bu oyun yüksek öğrenim kurullarında eğitim gören 10 kişiye bir Android cihaz aracılığıyla mobil sanal gerçeklik başlığı ve stereo özellik gösteren bir kulaklık yardımıyla test ettirilmiştir. Test sonuçları arasında büyük farklar gözlenmiştir ve yorum yapmak zorlaşmıştır. Oyun küpleri rasgele aralıklarda ve rastgele pozisyonlarda ortaya çıkarmaktadır. Bu sebepten dolayı oyuncular hep farklı oyun deneyimleriyle karşılaşmıştır. Sonuçlar arasındaki farklılıkların birincil nedeninin bu kontrolsüz rastgelelik olabileceği düşünülmüştür. İkinci bir neden ise puanlamadaki dengesizlik olabilir. Oyuncu yanlış bir hamle yaptığı zaman hep aynı miktardaki puanla cezalandırılırken, doğru hareketi gerçekleştirdiği hıza göre ödüllendirilmektedir. Bu durum rastgelelikle birleşince dengesiz bir puanlandırma ortaya çıkarmıştır. Oyuncuların ilk projeye olan öznel tepkileri ise seslerin ayırt etmesinin zorluğu üzerine olmuştur. Ayrıca testin sonunda oyuncular oyunu tekrar denemek istemiştir, bu performansları kayıt dışında tutulmasına rağmen ikinci oyunlarında önceki skorlarını katlayan başarılar elde edilmiştir. Oyuncuların oyunun bütününe olan tepkileri genellikle pozitif olmuştur ve yeni bir deneyim olduğunu söylemişlerdir. Alınan tepkilerle beraber ana oyun projesi için çeşitli alanlarda iyileştirmeler yapılmasına karar verilmiştir. Bu iyileştirmeler skor sisteminin dengelenmesi, her oyuncunun aynı oyun deneyimini yaşayabilmesi için ortaya çıkma sekansının önceden tasarlanmış olması, ses setlerinin birbirinden ayırt edilebilir olurken kendi içinde bütünlüğünü koruması ve oyun başlamadan önce oyuncunun oyunu nasıl oynaması gerektiğinin daha detaylı bir şekilde sunulması olmuştur. İkinci oyun, daha detaylı olan ana proje SteamVR geliştirme kitini kullanılarak Unity oyun motorunda, kumanda girdisinin de etkileşime dahil olmasıyla geliştirilmiştir. Bu oyun ayrıca ilk projenin karakteristik özelliklerini koruyarak hikâye de içermektedir. Oyunun test edilebilmesi için SteamVR destekli sanal gerçeklik sistemlerine gerek duyulmaktadır. Bu oyunda oyuncu gizemli bir ormanın içinde etrafı çitlerle çevrili yerin çeşitli bir sıvıyla kaplı olmasından dolayı çitlerin ortasından bulunan ufak bir adacığın üzerinde konumlanır. Bu çitlerle çevirili alan oyun alanıdır ve her çit bir sekizgenin kenarını sembolize edecek şekilde oyuncuyu çevrelemektedir. Bu oyunda is ses kaynakları bu çitlerden ortaya çıkan aynı görünümlü fakat farklı ses setlerine sahip hayaletlerdir. Oyuncu, hayaletler üzerinde bulunduğu adacığa varmadan uygulayacağı büyülerle onlara adalet sağlamalıdır. Kötü hayaletlere saldırmalı ve onların mistik sıvıya düşmesini sağlamalı, iyi hayaletleri ise salıvermelidir. Oyuncunun belli sayıda yanlış adalet sağlama hakkı vardır. Eğer hayaletleriyle yanlış adaleti götürürse iyi hayalete saldırıp, kötü hayaleti salarsa veya hayaletler oyuncu tarafından adalet sağlanmadan üzerinde bulunduğu adacığa çarparsa oyuncu hakkını kaybeder. Oyuncunun hakkı bittiğinde ise oyun sona erer. Oyundaki hayaletler yine iyi ve kötü şeklinde türlere ayrılmıştır. Ortaya çıkmalarından oyuncu ile etkileşimlerine kadar aynı gözükürler. Etkileşimden sonra kendi türlerini belli ederler. İyi hayalet şirin sesler çıkarırken kötü hayalet sinsi sesler çıkarmaktadır. Sesler ayırt edilebilir olması için ayrı ayrı kayıt edildi ve her sete farklı ses filtreleri uygulandı. Oyunda bir ses seti ortaya çıkma, hareket etme, saldırılma ve salınma olmak üzere dört sesten oluşur. Oyuncudan beklenen adalet, kötü hayaletlere saldırması ve iyi hayaletleri salmasıdır. Bu yüzden kötü hayaletler saldırılırsa kızgın bir ses çıkarırken salınmasına sinsi bir ses efektiyle karşılık verir. İyi hayalet ise salındığın mutlu olduğunu sembolize eden bir ses çıkarırken, saldırıldığında üzgün bir ses çıkarır. Kötü hayalet adaya çarptığında kurtulduğu için salınma efektini, iyi hayalet adaya çarptığında ise sıvıya düştüğü için üzülme ses efektini kullanır. Oyun ilk açıldığında yaklaşık iki dakika süren seslendirilmiş bir eğitim videosuyla başlar. Oyuncu bu videoyu izlemeden oyuna başlayamaz. Video bittiğinde ve her oyun turunun başında oyuncuya oyunun nasıl oynandığına dair yönergeler içeren bir bilgi tableti gösterilir. Oyuncu hazır olduğunda oyuna başlar. Her oyuncu seviye düzenleme ara yüzünde tasarlanmış aynı oyunu sekansını deneyimler. Oyuncu oyunda ne kadar süre hayatta kalabilirse, hayaletler ona o kadar hızlı yaklaşır ve ortaya çıkmaları arasındaki süre azalır. Oyuncunun yanlış yapma hakkı bittiğinde ise oyun turu sona erer. Oyun sonunda, oyuncuya performans sonuçları kurallar tabletine benzer bir tablette sunulur. COVID-19 salgını nedeniyle birçok kişi tarafından tek bir sanal gerçeklik başlığının kullanılması tehlikeli olduğu bir dönemde test çalışmasında bulunulması gerekti. Bu yüzden oyunun testi çevrimiçi olarak gerçekleştirildi. Gönüllü testçileri aramak için çeşitli posterler ve bilgilendirici yazılar hazırlandı. Bunlar çeşitli çevrimiçi platformlarda ve sosyal medya platformlarında paylaşıldı. Karşılığında, 15 kişiden dönüş oldu ve oyun bu kişiler tarafından test edildi. Testin bitmiş sayılması için testçilerin en az bir oyun turu oynaması ve ardından hazırlanan anketi cevaplaması gerekiyordu. Her oyuncuya, oyun verilerinin anket yanıtlarıyla eşleştirilebilmesi için özel test kodları verildi. Anket, test eden kişilerin genel profilini, oyun tercihlerini ve son olarak da çalışmanın konusuyla ilgili geri bildirimlerini toplamayı amaçladı. Çalışmadan bağımsız genel sorular, çalışmayla alakalı sorular, oyunun zorluk seviyesinin algısı üzerine ve oyun deneyiminin verdiği tatmin üzerine sorular soruldu. Oyuncunun her oyun turundaki performansı çevrimiçi sunuculara ayrı ayrı kaydedildi. Anket yanıtları da anketin yayınlandığı platform tarafından kaydedildi. Oyun performans raporu ve anket yanıtları, test edenin sahip olduğu özel kodla birbiriyle alakalandırıldı. Anket yanıtlarının ve oyun verilerinin analizi, çalışmanın odağına ilişkin çok sayıda çıktı gösterdi. Birinci ve ikinci oyunlar arasındaki geri bildirimler karşılaştırıldığında, ilk oyunun aksine oyun objelerinin birbirinden ayırılması konusunda ses seçimine yönelik hiçbir şikâyet gelmedi. İlk oyunda alınan bu geri bildirim ikinci oyunun tasarımına yansıtılıp başarıya ulaşılmış oldu. Oyunlar arasındaki oyun verileri analizlerinde de standart sapmanın azaldığı gözlemlendi. Bu durum, oyuncular arasında oyun dengesinin de daha eşit hale geldiğini göstermektedir. Başka bir önemli nokta ise oyunu test eden kişilerin ses odaklı bir sanal gerçeklik oyununa ilgi ve olumlu tepkiler göstermesi oldu. Bu öznel geri bildirimler, anket sonuçlarında görülen oyunun oyuncuya hissettirdiği kendine yeterlilik ve etkisini oyunda gözlemleyebilme duygularında çıkan eğilimle desteklenir durumdadır. İyileştirmeye açık alanlar olarak, görüş noktasıyla hedef alma ve VR kumandalarının tuş atamaları konusundaki şikayetler göz önüne alınmaktadır. Test eden kişiler, oyuncu aksiyonlarının aynı kumandada farklı tuşlarla sağlanmasının adaptasyonunda sıkıntı yaşadıklarını belirttiler. Ayrıca hem ara yüz geçişleri hem de oyun içi aksiyonlardan birinde aynı tuşun kullanılmasıyla alakalı bir sorun da paylaşıldı. Oyun bittiğinde oyuncu aksiyon tuşuna basıyor ve performans raporunu göremeden oyun kuralları ara yüzüne geçmek durumunda kalıyordu. Son olarak oyunun keyfini azalttığı yöndeki geri dönüş, artan seviyeyle birlikte sayıları aynı anda oyun alanında bulunan ses kaynağı oyun objelerini birbirinden ayırmanın zorluğu paylaşıldı. Gelecek planları arasında, oyunun, görme engelli ve yarı sağır kişilerin test edilmesine uygun olacak şekilde revize edilmesi bulunmaktadır. Bu revizyonlara testlerden alınana geri dönüşlerle belirlenmiş iyileştirmeye açık alanlar üzerine geliştirmeler de dahil olacaktır.
Özet (Çeviri)
Audio in virtual reality (VR) games have been put in the background from the core gameplay focus. Game visuals and visual cues are emphasized whereas audio and audio cues are used as complimentary feedback. Even though, hearing ability is a sense of humans as much important as seeing ability. The question arises why audio can not be the focus of game experience instead of visuals. Even though there are numerous game platforms such as mobile, console, desktop, VR, etc, audio-focused game design is scarce for example. It is hard to find audio game genres represented widely with numerous examples. This study aims to explore the favorability of audio-focused VR game experience towards players using spatial audio localization as a core gameplay element. The main question of the study is, would the VR players that got accustomed to visual-based gameplay be satisfied with the audio-based VR game experience. In the duration span of the project, two games were developed and tested separately. The first game project is aimed to be a preliminary study and consists entirely of abstract and minimal visuals. The second, the main one derived from the characteristics of the first one with more details on the environment as well as gameplay. The first game has been developed with Google Cardboard development kit in Unity game engine for mobile virtual reality platform where controllers are not used to fastening prototyping and testing process. In this game, the player is positioned in the middle of a sphere field. Cubes with the same appearance move towards the player from the periphery of the sphere. Although these cubes look the same, they have two different sound sets. The player must distinguish the cubes by the sounds they emit, and as a result, he/she must either destroy that cube by focusing his/her gaze on it or make it collide with himself/herself by not touching that cube with the gaze. There are four sounds in the audio set, used when the cube is revealed, moving towards the player, destroyed by the player, and collided with the player. Their characteristics were decided as good and bad considering the scenarios of destroying the sound sets in the game and collision with the player. While the good object emits more enjoyable sounds as it emerges and moves towards the player, the bad object emits more suppressive sounds. The good object must not be destroyed, so if it is destroyed, it will give a saddening sound effect. If the object collides with the player, a more pleasing sound effect is played. The bad cubes are aimed to be destroyed, so when they hit the player they emit a disturbing sound effect, when they are destroyed celebratory effects are played. This game was tested by 10 people studying at higher education institutions with an Android device using a mobile virtual reality headset and stereo headphones. There were large differences between test results and it became difficult to interpret the data collected. The game spawns cubes at random intervals and random positions. For this reason, players have always encountered different game experiences from each other. It was thought that the primary reason for the differences between results might be this uncontrolled randomness. A second reason may be an imbalance in scoring. When a player makes a wrong move, he/she is always penalized with the same amount of points, while the correct move is rewarded according to the speed he/she takes action. This situation, combined with randomness, produced an unbalanced scoring. The feedbacks of the testers to the first project focused on the difficulty of distinguishing the audio. At the end of the test, the players wanted to try the game again, although these performances were not recorded, scores were obtained in the second games even multiplied the previous ones. The reaction of the players to the whole game was generally positive and they commented that it was a novel experience. With the feedback received, it was decided to make improvements in various areas for the main game project. These improvements include balancing the scoring system, pre-design of the spawn sequence so that each player can experience the same game experience, preserve the integrity within itself while the sound sets are distinguishable from each other, and a more detailed presentation of how the player should play the game before the game starts. The second game, the main project, was developed in Unity game engine using SteamVR development kit, with the controller input included in the interactions. This game contains a story while preserving the characteristics of the first project. The player starts the game on a small island surrounded by fences while the ground is covered with a mystic liquid in a mysterious forest. This fenced area is the game field and each fence surrounds the player, symbolizing the edge of an octagon. In this game, key sound sources are ghosts that emerge from these fences with the same look but with different audio sets. The player must provide justice to these ghosts by casting spells before they reach the island where the player is located. He/She must attack the bad ghosts and make them fall into the mystical liquid, while the good ghosts must be released. The player has a certain number of false justice allowances. If he/she brings the wrong justice to the ghosts, attacks the good ghost, and releases the evil ghost, or if the ghosts hit the island he/she is on without justice served, the player loses his/her allowance. When the player's allowance ends, the game ends. The ghosts in the game are divided into good and bad. They look the same until they are interacted with by the player. They reveal their true appearance after the interaction. The good ghost makes cute sounds while the bad ghost makes sneaky sounds. The audio sets were recorded and different audio filters were applied to each set to make them more distinguishable. In this game, the sound set consists of four sounds: emerge, move, attack, and get released. If good ghosts are attacked, they emit an angry sound, when released they make a response with a sneaky sound effect. The good ghost, on the other hand, makes a sound that symbolizes happiness when realized, and a sad sound when attacked. When the good ghost hits the island, it uses the release effect as it escapes, and when the good ghost hits the island, it uses the sound effect of the remorse when it falls into the liquid. When the game is opened, it starts with a vocalized training video that lasts about two minutes. The player cannot start the game without watching this video. When the video is finished and before starting each game round, the player is shown an information tablet with instructions on how to play the game. When the player is ready, he/she starts the game. Each player experiences the same sequence designed in the level editor. The more the player progresses the faster the ghosts approach him/her and the duration between the spawns decreases. When there is no allowance left for the player game session ends. In the end, the player is presented with a performance report on a tablet similar to the instructions tablet. The testing of the game was conducted online as the use of a single virtual reality headset by many people was dangerous due to the COVID-19 pandemic. To look for testers various posters and informative articles have been prepared. These have been shared on various online and social media platforms. In the return, 15 people tested the game. Testers were required to play at least one game session and then answer the prepared questionnaire. Each player had unique test codes so that their gameplay data could be matched with their survey response. The survey aimed to collect general information from the testers, their gaming preferences, and lastly their feedback for the topic of the study. They were asked study independent general questions, study dependent gameplay questions, questions regarding the complexity of the game, and questions regarding gameplay satisfaction. The game performance of the player is recorded separately on the servers for each round, and the survey responses are recorded by the platform where the survey is published. The game performance report and questionnaire responses are linked together with the unique code that the tester had. Analysis of the survey responses and the gameplay data showed numerous outputs regarding the focus of the study. When the feedback between the first and second games was compared, it seemed there was no objection to the complexity of distinguishing object types apart in the second one. From the initial feedback of the first game, this area of the game design has been improved. Gameplay data analyzes between the games also showed that the standard deviation is reduced. This shows the game balance also became more even between the players. Last but not least, the testers showed interest in the audio-based VR gameplay and the game showed positive reception. These subjective feedbacks are also supported with survey analysis in which the game showed itself touching on self-determination and self-sufficiency feelings of the testers regarding sole gameplay. As areas open for improvement, there were complaints regarding gaze aiming and controller mappings as well as one button being mapped for both UI and game action.These issues will be solved for improving VR experience of the players. Study-focused improvements include reducing the number of audio sources at the same time as it was another complaint from the testers. In the future, the game is planned to be revised to be suitable for testing by blind and semi deaf people as well as iterated to full-fill tester feedback on areas of improvement.
Benzer Tezler
- Controlling magnetoelectric nanoparticles for wireless stimulation and recording of neuronswith electromagnetic systems
Nöronların kablosuz stimülasyonu ve kaydı için manyetoelektrik nanoparçacıkların elektromanyetik sistemlerle kumanda edilmesi
YAGMUR AKİN YİLDİRİM
Doktora
İngilizce
2022
Elektrik ve Elektronik MühendisliğiUniversity of MiamiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SAKHRAT KHİZROEV
- Sound source localization using MEMS digital microphone arrays
Sayısal MEMS (Mikro elektro-mekanik sistemler)mi̇krofon dizileri kullanarak ses kaynağı konumlandırma
MUSTAFA AŞIROĞLU
Yüksek Lisans
İngilizce
2019
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ŞENOL MUTLU
- Spatial audio reproduction techniques and their application to musical composition: the analysis of 'Wunderkammer', 'point-instant' and 'hollow'
Mekansal ses üretim teknikleri ve müzikal kompozisyondaki uygulamaları: 'Wunderkammer', 'Point-Instant' and 'ollow' parçalarının analizi
ENGİN DAĞLIK
Yüksek Lisans
İngilizce
2019
Müzikİhsan Doğramacı Bilkent ÜniversitesiMüzik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TAHSİN TOLGA YAYALAR
- 3D perceptual soundfield reconstruction via sound field extrapolation
Ses alanı dışdeğerlendirmesi ile 3 boyutlu algısal ses alanı oluşturma
EGE ERDEM
Yüksek Lisans
İngilizce
2020
Makine MühendisliğiOrta Doğu Teknik ÜniversitesiÇokluortam Bilişimi Ana Bilim Dalı
DOÇ. DR. HÜSEYİN HACIHABİBOĞLU