Effectiveness of gamification on engagement with conversational AI-based systems: A cost–benefit model
Yapay zekâ tabanlı sohbete dayalı sistemlerde oyunlaştırmanın kullanıcı katılımına etkisi: Bir maliyet–fayda modeli
- Tez No: 991919
- Danışmanlar: DOÇ. DR. UMUT BURCU TASA YURTSEVER
- Tez Türü: Yüksek Lisans
- Konular: İletişim Bilimleri, Communication Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Sanat ve Tasarım Ana Sanat Dalı
- Bilim Dalı: İnteraktif Medya Tasarımı Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, oyunlaştırmanın gelişmekte olan Büyük Dil Modeli (LLM) tabanlı sohbete dayalı yapay zekâ sistemlerinde kullanıcı katılımı (user engagement) üzerindeki etkisini incelemektedir. Önceki oyunlaştırma araştırmaları oyunlaştırmanın etkililiğine ilişkin oldukça değişken sonuçlar ortaya koyarken, mevcut kuramsal modeller büyük ölçüde motivasyonel faydalara odaklanmakta ve bireysel kullanıcılar arasında katılım (engagement) değişkenliği yaratan uygulama maliyetlerini yeterince hesaba katmamaktadır. Bu çalışma, bu boşluğu, oyun unsurları ile onlara eşlik eden sunumsal/etkileşimsel özelliklerin algılanan fayda ve maliyetlerini birlikte içeren bir Maliyet–Fayda Modeli önerip test ederek ele almaktadır. Denek-içi bir deneysel tasarım kullanılan çalışmada, N=22 katılımcı, bu araştırma için özel olarak geliştirilmiş LLM destekli bir mülakat simülatörünün hem oyunlaştırılmış hem de oyunlaştırılmamış versiyonlarıyla etkileşim kurmuştur. Katılım (engagement), Kullanıcı Katılımı Ölçeği–Kısa Form (UES-SF) ile ölçülmüş; buna ek olarak, Oyunlaştırmanın Algılanan Faydasını (PBG) ve Oyunlaştırmanın Algılanan Maliyetini (PCG) değerlendirmeye yönelik hazırlanmış özel ölçüm araçları uygulanmıştır. Genel bulgular, oyunlaştırılmış versiyonun toplam UES-SF katılımı (engagement) üzerinde istatistiksel olarak anlamlı bir etkisinin olmadığını göstermiştir. Bu durumun, UES-SF'nin alt ölçeklerinde karşıt yönlü dengeleme etkilerini yansıtmakta olduğu görülmektedir: Odaklanmış Dikkat ve Estetik Çekicilik alt ölçeklerinde orta büyüklükte istatistiksel olarak anlamlı artışlar görülürken, Algılanan Kullanılabilirlik üzerinde istatistiksel olarak anlamlı düzeyde olumsuz bir etki gözlenmiştir. Fakat, bu dengeleme etkisi—ve dolayısıyla toplam katılımda (engagement) istatistiksel olarak anlamlı etki bulunamamış olması—kullanıcı katılımının (engagement) alt boyutlarında genellenebilir bir dinamik denge durumuna işaret etmekten ziyade, prototipimizin yapımındaki belirli tasarım tercihlerimizin bir sonucu olabilir. Bunun da ötesinde, ortalamada istatistiksel olarak anlamlı etki bulunup bulunmamasından bağımsız olarak, toplam katılım (engagement) değişiminin katılımcılar arasında yüksek bireysel değişkenlik sergilediği görülmüştür, ki bu da tek bir genel ortalama ölçümünün bu bağlam özelinde yeterince bilgilendirici olmayabileceğine işaret etmektedir. Toplam katılım (engagement) değişimi, katılımcılar arasında −16.00% ile +27.78% arasında değişen yüksek değişkenlik göstermiştir, ve bu varyasyonun görsel analizi, Algılanan Maliyetlerin (PCG) Algılanan Faydaya (PBG) kıyasla bireyler arasında anlamlı derecede daha yüksek değişkenlik gösterdiğini düşündürmüştür. Çoklu doğrusal regresyon analizi, önerilen kuramsal modeli doğrulamış (R²=0.447, p=0.004) ve katılım (engagement) değişiminin PBG tarafından pozitif, PCG tarafından ise negatif yönde öngörüldüğünü göstermiştir. Bu nedenle bu çalışma—hem yapay zekâ tabanlı sohbete dayalı sistemler özelinde hem de (muhtemelen) daha genelde—başarılı oyunlaştırma için gerekli olan kullanıcı değişkenliğini etkili biçimde yönetmek ve katılım (engagement) artışını maksimize etmek amacıyla, tespit edilecek her bir kullanıcı grubunda algılanan maliyetlerin azaltılmasının önceliklendirilmesi gerektiğini ortaya koymaktadır.
Özet (Çeviri)
This study investigates the effectiveness of gamification on user engagement within the emerging domain of Large Language Model (LLM)-based conversational AI systems. While previous gamification research shows highly variable results regarding the effectiveness of gamification, existing theoretical models largely focus on motivational benefits, failing to adequately account for implementation costs that introduce engagement variability among individual users. This study addresses this gap by proposing and testing a Cost–Benefit Model that incorporates both perceived benefits and perceived costs of game elements and of their accompanying presentational/interactional features. Utilizing a within-subjects experimental design, N=22 participants interacted with both a gamified and a non-gamified version of an LLM-powered job interview simulator, specifically developed for this study. Engagement was measured using the User Engagement Scale–Short Form (UES-SF), alongside custom instruments assessing Perceived Benefit of Gamification (PBG) and Perceived Cost of Gamification (PCG). Overall, the gamified version showed no statistically significant effect on total UES-SF engagement. This seems to be reflecting counterbalancing effects on subscales of UES-SF: statistically significant medium-sized gains were found in Focused Attention and Aesthetic Appeal, which were offset by a statistically significant negative effect on Perceived Usability. However, this counterbalancing effect—hence the statistically insignificant overall effect we found—might be the outcome of specific design choices we made when building our prototype, rather than a generalizable indicator of a dynamic equilibrium state regarding sub-dimensions of engagement. Furthermore, independent of this (in)significance in average, the total engagement change exhibited high individual variability among the participants, indicating that a single-number average measurement might not be sufficiently informative in this specific context. The total engagement change ranged from a detrimental -16.00% to a highly effective 27.78% across participants, and visual analysis of this variation suggested that Perceived Costs (PCG) showed greater variability among individuals than Perceived Benefits (PBG). A multiple linear regression analysis validated the proposed theoretical model (R²=0.447, p=0.004), demonstrating that engagement change is positively predicted by PBG and negatively predicted by PCG. This study, thus, confirms that successful gamification—both in conversational AI-based systems, and presumably, in general—requires prioritizing the mitigation of perceived costs for each of the identified user groups, to effectively manage user variability and maximize engagement gains.
Benzer Tezler
- Oyunlaştırma destekli ters yüz öğrenme yaklaşımının matematiksel okuryazarlık öz yeterlik inancına ve katılıma etkisi
The effect of gamification enhanced flipped learning approach on mathematical literacy self-efficacy beliefs and engagement
ÖNDER KARAMERT
Doktora
Türkçe
2025
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ÖZDEN DEMİRKAN
- The impact of digital gamification on second-grade EFL learners' reading comprehension
İkinci sınıf İngilizce öğrencilerinin okuduğunu anlama becerileri üzerinde dijital oyunlaştırmanın etkisi
SAMIRA KHANMOHAMMADI KHOSHOUEI
Yüksek Lisans
İngilizce
2026
Eğitim ve ÖğretimBahçeşehir ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. NİHAL YURTSEVEN
- Oyunlaştırma (Gamification) ve mobil pazarlama etkinliği
Effectiveness of gamification and mobile marketing
UMUT GÜLEÇ
- Oyunlaştırma destekli biçimlendirici değerlendirme tasarımının üniversite öğrencilerinin akademik başarıları ve algı düzeylerine etkisi
The effect of a gamification-supported formative assessment design on university students' academic achievement and perception levels
ATAKAN GÖKAY ZÖĞ
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. İBRAHİM YILDIRIM
- Öğrenen örgütlerde oyunlaştırma teorisinin firma performansı üzerindeki etkisi
The effect of gamification theory on firm performance in learning organizations
ÖZGÜR HİTAY