Xpressionist: facial expressions as affect-aware game mechanics
Xpressionist: yüz ifadeleri ile duyguya duyarlı oyun mekanikleri
- Tez No: 1008617
- Danışmanlar: PROF. DR. HATİCE KÖSE, DR. ÖĞR. ÜYESİ KUTAY TİNÇ
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Kullanıcı arayüz sistemleri, Yüz ifadesi, User interface systems, Facial expressions
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Oyun Tasarımı Ana Bilim Dalı
- Bilim Dalı: Oyun Tasarımı Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Empati sosyal iletişimde önemli bir beceridir ve insanların birbirlerini ve olayları anlayabilmesinde etkin rol oynamaktadır. Empati sadece sosyal iletişimle değil aynı zamanda film, kitap, müzik ve oyunlar gibi medyalarla da tecrübe edilebilmektedir. Oyunlar, interaktif doğaları sebebiyle farklı duyguları tecrübe etmek ve empatiyi geliştirmek için önemli bir araçtır. Seçimleri ve aksiyonları oyuncuya bırakarak onları karakterlerin yerine kendilerini koymalarına imkân sağlar. Oyunların kötü davranışlara sebep olduğu algısı ne kadar çok olsa da sosyal becerileri geliştiren ve empati duygusunu geliştiren birçok oyun bulunmaktadır. İnsanlar farklı duygular tecrübe edebilmek için oyun oynar. Gelişen teknolojiyle birlikte oyundaki duygusal deneyimi arttırmak için de yeni yöntemler ortaya çıkmıştır. Oyuncunun duygularına odaklanan bu çalışmalarda oyuncudan alınan duygusal verilerin oyunu etkilemesine olanak tanınmıştır. Bu verilerden bir tanesi de yüz ifadeleridir. Yüz ifadeleri oyunda bir girdi olarak kullanılarak sistem, oyuncuların duygularına uyum sağlayabilir veya oyuncu doğrudan yüz ifadeleriyle oyunu kontrol edebilir. Bu yöntemler ile oyun deneyimini daha etkili bir hale getirip aynı zamanda oyuncuların duygusal durumunu da etkileyebilmektedirler. Duygularla ilgili önemli diğer bir çalışma ise ciddi oyunlardır. Bu çalışmada özel olarak otizm spektrumu olan çocuklar için tasarlanan oyunlar incelenmiştir. Bu oyunlar çocuklara hem yüz ve ifadeleri tanımlamak hem de empati ve sosyal becerilerini geliştirmek için pratik yapabilecekleri imkanlar sunmaktadır. Bu oyunlar, baskı ve yargılayıcı çevreden uzak, güveli bir ortam yaratarak eğlenerek öğrenmelerine fırsat tanımaktadır. Duygular ve beraberinde yüz ifadelerini öğretmek için çeşitli çalışmalar yapılmıştır ve bu oyunların çoğu gözleme dayalı uygulamalardır. Bu çalışmanın amacı ise ciddi oyunlar ve duyguya duyarlı oyunların arasında bir köprü kurarak özellikle otizm spektrumlu çocuklar için, oyuna aktif olarak katılabilecekleri, sosyal becerilerini geliştirebilecekleri ve aynı zamanda duygusal tecrübe edinmelerine fırsat tanıyan bir oyun tasarlayarak bir kavram kanıtı ortaya koymaktır. Bu deneysel çalışmada duygular oyunda bir etkileşim aracı olarak kullanılmıştır. Çalışmanın amacı, özellikle sözsüz iletişimde duyguların önemli bir iletişim aracı olduğunu vurgulamak ve duygularla ilgili sebep-sonuç ilişkisi kurmalarına yardımcı olabilecek bir oyun geliştirmektir. Nörotipik yetişkinlerle test edilen bu pilot çalışmada, ifade mekaniğinin oyunda nasıl tecrübe edildiği ve mekaniğin efektifliğini gözlemlemek hedeflenmiştir. Oyun, 3. kişi perspektifinde 3 boyutlu bir platform oyunudur ve Unreal Engine 5 ile geliştirilmiştir. Oyuncunun gerçek zamanlı yüz ifadeleri mobil cihazdaki yüz tanıma uygulamaları aracılığıyla alınır ve yerel ağ ile bilgisayarda Python üzerinden sayısal verilere dönüştürülüp gerçek zamanlı olarak Unreal Engine 5'e gönderilir. Python tarafında filtrelenilen yüz ifadeleri Unreal Engine 5'te bir kontrol mekaniğine dönüştürülür. Böylece oyun, yüz ifadelerini tanır ve gerçek zamanlı olarak oyuncuya tepki vererek duygusal etkileşimin gerçekleştirilebildiği bir ortam sunar. Bu prototipte, tanımlamada kolaylıkları, genel bilinirlikleri ve kompleks duygulara geçmeden önce pozitif ve negatif duyguları temel olarak anlatabilmek adına mutlu ve üzgün ifadelere öncelik verilmiştir. Oyun, bu iki duyguya odaklanan iki farklı bölümden oluşmaktadır, aynı zamanda temadaki duyguyu destekleyebilmek için küçük bir hikâyeye ve oyuncunun arkadaşı olarak tanımlanan bir karaktere sahiptir. Her iki bölümde de amaç engelleri aşarak arkadaşına ulaşmaktır. Oyun başlangıçta oyuncuya kontrol yöntemini sormaktadır. Eğer yüz ifadeleri kullanılmayacak ise yüz ifadelerine atanılan klavye tuşları tanıtılır, yüz ifadesiyle oynanacak ise kişiye özel minimum ve maksimum eşikler oluşturabilmek için kalibrasyon bölümüne geçilir. Oyunculardan nötr, mutlu ve üzgün yüz ifadeleri yapmaları istenir ve değerler arka planda kaydedilerek eşik değerler hesaplanır böylece Python'dan gelen iki duygu ile ilgili veriler oyuncuya uygun olarak belirlenen eşik değere göre oyunda aktifleşir. Eğer iki duygu da eşiğin altındaysa oyun ifadeyi nötr olarak kabul eder. Yüz ifadeleri ile ilgili bilgi aynı zamanda oyunun arayüzünde de gösterilmektedir. Böylece oyuncu anlık yüz ifadesini görebilmektedir. Kalibrasyonun ardından oyuncular eğitici bölüm ile ifadelerin oyunda nasıl kullanıldığı hakkında bilgi edinir ve objeleri nasıl manipüle edebileceğini öğrenir. İlk bölüm daha çok üzgün ifadeye odaklanır ve oyuncunun amacı kendini kötü hisseden arkadaşına ulaşıp onu teselli etmektir. Bu bölümde hedef çevreyi sakinleştirmek, engelleri aşıp kendine yol açarak ilerlemektir ve bu konsept olarak arkadaşının duygularına empati kurmaktan geçer ve bu şekilde zorluklar ortadan kalkar. İkinci bölüm ise daha aydınlık ve canlı bir atmosfere sahiptir ve oyun parkı konseptinde bir parkur bulunmaktadır. Bu sefer gülümseme ifadesi ile dünyayı daha canlı bir hale getirmek gerekir ve bu eylemle birlikte çevre hareketlenir ve renklenir. Kendine yeni yollar yaratan oyuncu bölümü arkadaşına ulaşarak tamamlar. Bu keşif çalışmasında, asıl çalışma grubu olan otizm spektrumlu çocuklardan önce, mekaniği teknik açıdan test etmek ve oyuncular üzerindeki etkisini incelemek üzere nörotipik yetişkinlerle çalışılmıştır. İfade mekaniğinin kullanışlılığı ve efektifliğini ölçmek için oyun hem yüz ifadeleriyle hem de yalnızca klavyeyle olarak iki kontrol yöntemiyle oynanarak kıyaslamaları istenmiş ve sıraları dengelenecek şekilde atanmıştır. Deneyde, oyuncuların ifade mekanikleriyle nasıl etkileşim kurduğu ve oyunun duygusal farkındalıklarını, genel oyun içi ve duygusal deneyimlerini nasıl etkilediği gözlemlenmiştir. Bu ön çalışma yetişkin 20 katılımcı ile gerçekleşmiştir. Katılımcıların hepsi oyunlara aşinadır ve çoğunluğu genellikle birinci-şahıs nişancı (%70) ve aksiyon/macera (%65) türünde oyunlar oynamaktadır. 3 boyutlu platform oyunlarında üç kişi dışında herkes tecrübeli olduğunu, yüz tanıma teknolojisine aşinalık konusunda ise %65'i önceden deneyimlediklerini belirtmiştir. Deney için başlangıçta oyunculara onay ve bilgi formu verilmiş ve bu formla birlikte oyuncunun anlık duygu durumu ile de ilgili bilgi International Positive and Negative Affect Schedule Short Form (I-PANAS-SF) testi ile alınmıştır. Oyun iki kontrol yöntemiyle rastgele sırayla oynanmış, oyun sürecinde ekran kaydı ve Python aracılığıyla yüz ifadelerinin sayısal verileri kaydedilmiştir. Oyun sonunda ise yine duygu durumları ile ilgili bilgi toplanmış bunun yanında oyun deneyimi için Game Experience Questionnaire (GEQ) olarak bilinen oyun deneyim anketi uygulanmıştır. Ayrı olarak kontrol yöntemi ile ilgili deneyimlerini kıyaslayabilmeleri için de bir bölüme yer verilmiştir. Son olarak oyunculardan mekanik, bölümler ve genel oyunla ilgili deneyimleriyle ilgili açık uçlu sorulara yer verilmiştir. Test sonuçları incelendiğinde oyuncular oyundaki genel deneyimi iki kontrol yöntemiyle benzer bulmuş ancak ifadelerle oynamanın daha zorlayıcı olduğunu belirtmişlerdir. Kontrol yöntemi olarak ise klavyenin daha hızlı ve doğru tepki verdiğini, ifadelerle ise daha eğlenceli ve zor olduğunu belirtmişlerdir. Alışık oldukları yöntem olduğu için klavyeyi daha doğal bulmuşlardır. Genel olarak oyuncular yüz ifadeleriyle oynamanın daha ilgi çekici olduğunu belirtmiştir. Oyunda yüz ifadelerinde mutlu ifade kolay algılansa da oyuncuların bir kısmında üzgün ifadesi zor algılanmıştır bu sebeple iki bölüm arasındaki tecrübe ve eğlence faktörü değişim göstermiştir. İlk bölümde algılamada zorluk sebebiyle zorlanmışlar ve oyunu uzun sürede bitirmişlerdir, ikinci bölümde ise çoğu oyuncu gülümseyerek oynadığı için bölümü klavye kadar hızlı bitirebilmişlerdir. Kaydedilen veriler incelendiğinde oyun iki kontrol yöntemiyle birlikte toplamda ortalama 24 dakikada tamamlanmış ve bu süre 3 boyutlu bilgisayar oyunlarına aşinalıklarına göre değişiklik göstermiştir. Oyuncular genellikle bölümleri ifade kullanmadıklarında daha hızlı bitirmişler ve ilk bölümü genel olarak daha uzun sürede tamamlamışlardır. İfade verileri ise iki bölüm ayrı olarak incelenmiş ve oyuncuların mutlu ve üzgün ifadelerini kullanım oranları hesaplanmıştır. İlk bölümde iki ifade ortalama yakın oranda kullanılmış ancak mutlu ifadenin (51,97%) üzgün ifadeden (48,03%) daha yoğun kullanıldığı görüşmüştür. İkinci bölümde ise mutlu ifade (%79,08) baskın olarak üzgün ifadeden (%20,92) çok kullanılmıştır. Katılımcıların duygu durumları ise, I-PANAS-SF testi sonucunda oyun öncesi ve sonrası değerlendirildiğinde pozitif duygularda artış, negatif duygularda ise önemli derece bir azalma tespit edilmiştir ve bu aynı zamanda ifade verilerinde görülen yoğun mutlu ifade kullanımı bilgisi ile uyuşmaktadır. Üzgün ifadenin algılanmasındaki zorluk sebebiyle bazı oyuncuların özellikle ilk bölümde kontrol yönteminde zorlandığı gözlemlenmiştir. Buna karşıt olarak ikinci bölümde duygu durumları sebebiyle farkında olmadan birçok oyuncu bölümün sonuna dek gülümseme ifadesini koruyarak oynamıştır ve bu şekilde mutlu ifadeyle etkileşim sağlanan engelleri çaba harcamadan geçmişlerdir. Ayrıca farkında olmadan uyguladıkları ifadelere oyunun verdiği tepki ve oyun arayüzündeki gerçek zamanlı ifadeler sayesinde oyuncuda anlık duygu durumuyla ilgili farkındalığa sebep olmuştur. Böylece oyuncular ilk bölümde ciddiyetlerini korumaya odaklanırken ikinci bölüme geçtiklerinde ise rahatlamış bir şekilde oyunu tamamlamışlardır. Oyunu ilk sadece klavye kontrolüyle oynayan oyuncuların kontrolleri karıştırdığı ve ilk yüz ifadeleriyle oynayanların ise ifade ve etkileri arasında daha kolay bağlantı kurduğu ve bilinçli bir şekilde kontrol ettikleri gözlemlenmiştir. Katılımcılar geri dönüşlerinde oyunun genel olarak ilgi çekici olduğunu ve oyundaki duygusal deneyimi geliştirdiğini belirtmiş ve üzgün ifadenin tanınmasının iyileştirilmesi ve farklı duyguların da eklenmesiyle daha eğlenceli bir hale gelebileceğini eklemişlerdir. Katılımcılar aynı zamanda iki bölümdeki tasarım ve mekaniğin, duygularla arasındaki bağlamının mantıklı olduğunu belirtmişlerdir. Bu çalışma, belirli bir oyun türünün, duyguya duyarlı mekanikler aracılığıyla nasıl duygusal açıdan anlamlı bir deneyime dönüştürülebileceğini incelemektedir. Gelecekteki çalışmalar, daha gelişmiş duygu tanıma modelleri kullanarak yüz ifadesini tanımada daha iyi bir sonuç verebilmeye ve çocuklara uygun bir hassasiyete getirerek deneyimi daha iyi bir hale getirmeye odaklanacaktır. Bununla birlikte oyun tasarımını çocuklara daha uygun olacak biçimde geliştirerek, özgürce keşif yapabilecekleri, baskıdan uzak bir ortamda, eğlenerek öğrenebilecekleri bir oyun deneyimi sunmak hedeflenmektedir. Oyun, oyuncunun ifade durumuna dinamik olarak tepki verecek şekilde tasarlanacak ve sabit bir hedefe odaklanmak yerine duyarlı ve özgür bir oyun alanı sunacaktır. Böylece çocukların, başarısızlık korkusu olmadan ifadeler üzerinde pratik yapabilecekleri bir oyun ile sosyal iletişimlerini geliştirebilecekleri güvenli, kendi hızlarında ilerleyebilecekleri bir ortam tasarlanmış olacaktır.
Özet (Çeviri)
Empathy is an essential skill for social communication, enabling individuals to understand others and interpret social situations. It can be experienced not only through direct social interaction but also through media such as films, books, music, and games. The interactive nature of games makes them particularly effective tools for fostering emotional experiences and developing empathy compared to traditional media. Although games are often criticized for promoting negative behaviours, many studies show that games can enhance social skills, increase empathy, and support mental well-being. People play games to experience different emotions. Advances in technology have enabled new methods for creating richer emotional experiences in digital games. These approaches focus on players' emotional states and allow emotional data to influence gameplay. They can be used as game input, allowing the game to adapt to players' emotional states, or they can enable players to directly control the game through their expressions. These methods not only enhance player engagement but also influence players' emotional experiences during gameplay. Another significant area of emotion-related research involves serious games. This study examines games designed specifically for children with autism spectrum disorder (ASD). These games provide opportunities for children to practice facial and emotion recognition while developing empathy and social skills. By creating safe, non-judgmental environments, the games enable learning through enjoyable gameplay. Various methods have been employed to teach emotions and facial expressions, with most applications relying on observational learning approaches. This study bridges serious games and affective games by creating a proof of concept for children with ASD that facilitates active participation while providing opportunities for emotional experiences. To build a foundation for this vision, a pilot study was conducted with neurotypical adults. This initial phase focused on validating the facial expression mechanics and ensuring the game environment responds accurately to user input before adapting the system for a younger, more sensitive audience. In this exploratory study, emotions serve as an interaction tool within the game. The goal is to highlight emotions' role in nonverbal communication and help children understand cause-effect relationships. This prototype prioritizes happy and sad expressions for their recognition reliability, general familiarity, and ability to simply convey positive and negative emotions before moving to complex emotions. The game comprises two levels, each emphasizing a different emotion. To reinforce each level's emotional theme, the game includes a brief narrative and the objective in both levels is to navigate obstacles and reach their friend. At the start, the game asks players to choose their control method. Players choosing keyboard input receive instruction on the keys mapped to expressions before beginning the main game. Players selecting facial expression input proceed to a calibration phase that establishes personalized detection thresholds. Following calibration, players complete a tutorial section that introduces how facial expressions function in the game and teaches how to manipulate objects with this mechanic. The first section emphasizes sadness, with the objective of reaching and comforting a sad friend. Players use sad expressions to calm environmental elements and remove obstacles. The second section has a brighter and more playful atmosphere with a playground-like course. Players progress through this level by smiling, which makes the world colourful and moving environment and allows them to create new paths. The study was first tested with neurotypical adults to validate the expression mechanics, and the experiment was conducted with 20 participants. Participants evaluated the mechanics' usability and effectiveness by playing with both facial expression and keyboard controls. Condition order was counterbalanced across participants. The experiment explored how players interacted with the game's controls and how the experience influenced their emotional awareness and overall engagement. At the end of the game, players found both control methods provided comparable game experience, but facial expressions were more challenging. Keyboard control offered faster, more accurate responses and felt more natural due to familiarity. However, facial expression control was rated as more engaging and enjoyable despite its difficulty. Although happy expressions were easily detected in the game, sad expressions were difficult to detect for most players. This affected the experience and enjoyment between the two levels. Players struggled in the first level due to detection difficulties, but in the second level, most players completed it as quickly as with keyboard control because they naturally smiled while playing. Expression data were analysed separately for each level. In the first level, both expressions were used at similar average rates, but happy expressions (51,97%) were used more than sad expressions (48,03%). In the second level, happy expressions (79,08%) were used predominantly over sad expressions (20,92%). In addition, results from the study showed that positive emotions increased while negative emotions significantly decreased after playing the game. These results match the facial expression data, which recorded a high frequency of happy expressions during the game. The players' feedback indicated that the game was engaging overall and fostered an emotional connection with the virtual environment. The participants suggested that improvements to sad expression recognition and inclusion of additional emotions could increase enjoyment. They also noted that the design and mechanics in both sections demonstrated logical connections to their respective emotional themes. This study demonstrates how a particular game genre can be transformed into emotionally meaningful experiences through affect-aware mechanics. Future work will prioritize refining recognition accuracy through models tailored to children's facial movements, and shifting toward low-pressure, exploration-based design. The environment will be designed to react dynamically to the player's expression state, offering a responsive and gentle digital playground rather than fixed objectives. This creates a safe, self-paced space where children can experiment with their expressions without the fear of failure. This ensures that the technology serves as a bridge for practicing social and non-verbal communication.
Benzer Tezler
- The expressionist styles of genre films produced in independent Turkish cinema
Bağımsız Türk sinemasındaki tür filmlerinin dışavurumcu stillerinin analizi
DİDEM TOK EMİNÇE
Doktora
İngilizce
2026
Radyo-TelevizyonBahçeşehir ÜniversitesiSinema Televizyon Ana Bilim Dalı
PROF. DR. OSMAN KAYA ÖZKARACALAR
- Mystical Inspirations of Abstract Expressionist Painting
Soyut dışavurumcu resimde mistik esinlenmeler
ŞEVKET CEM ONAT
Doktora
İngilizce
2018
Güzel SanatlarYeditepe ÜniversitesiPlastik Sanatlar ve Resim Ana Bilim Dalı
PROF. DR. MEHMET ZAHİT BÜYÜKİŞLİYEN
- Content and form analyses within the grame of neo expressionist trend
Resimde neo ekspresyonist anlayış çerçevesinde içerik ve biçim bağlamında çözümlemeler
ELİF F. OKUR TOLUN
Yüksek Lisans
İngilizce
1994
Güzel Sanatlarİhsan Doğramacı Bilkent ÜniversitesiGüzel Sanatlar Ana Bilim Dalı
DOÇ. HAYATİ MİSMAN
- Türk resminde 1950 sonrası dışavurumcu yaklaşımlar
Expressionist approaches in Turkish painting after 1950
FERUZAN KÖK
