Automated video game testing using reinforcement learning agents
Pekiştirmeli öğrenme yöntemleri kullanarak oyunların otomatik test edilmesi
- Tez No: 758295
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. AYSU BETİN CAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 109
Özet
Bu tez çalışmasında bilgisayar oyunu test yöntemlerini otomatize etmek ve geliştirmek için birçok metodoloji tanıtılmaktadır. Bu yöntemler, Pekiştirmeli Öğrenme (RL) ajanlarına dayanmaktadır. Öncelikle, video oyunu testini otomatize etmek için sentetik ve insan-benzeri test ajanları önerilmiştir. Sentetik ajan, oyun senaryolarından oluşturulan test hedeflerini kullanmaktadır. İnsan-benzeri ajan ise test edenin izlediği yollardan çıkarılan test hedeflerini kullanmaktadır. Bu test ajanları, Sarsa ve Monte Carlo Ağaç Araması (MCTS) kullanılarak türetilmekledir. Geleneksel oyun oynama ajanları oyun skorlarını maksimize etmeye odaklanmışken, test ajanlarının odağı hataları bulmaya yöneliktir. İkinci olarak, MCTS'nin hata bulma yetisini geliştirmek için çeşitli MCTS modifikasyonları önerilmiştir. Üçüncü olarak, oyun testini iyileştirmek için gelişen karakter tasarımı sunulmuştur. Gelişen karakter, bir ajanın kişiliğini geliştirmeye olanak sağlar ve böylece daha doğru oyun testleri elde edilir. RL algoritmalarının amacı toplam ödülü maksimize edecek yolları bulmaktır. Bununla birlikte aynı hedefe ulaşan alternatif yolları keşfetmek de oyun testi için önemlidir. Bu nedenle, RL ajanlarının bu alternatif yolları da keşfedebilmesi için, Alternatif Yol Bulucu (APF) tanıtılmıştır. Önerdiğimiz metodolojileri Genel Video Oyun Yapay Zeka (GVG-AI) ve VizDoom ortamlarını kullanarak test etmekteyiz. Deneyler, insan-benzeri ve sentetik ajanların, gerçek insanların yaptıkları testlerdeki hata bulma performanslarıyla rekabet ettiğini ortaya koymaktadır. Ayrıca deneyler, hata bulma performansının MCTS modifikasyonları sayesinde iyileştirildiğini göstermektedir. Dahası, deneyler gelişen karakterin oyuna ve farklı oyuncuların oyunu nasıl oynayacağına dair daha iyi bir fikir sağladığını göstermektedir. Son olarak, APF tarafından bulunan alternatif yollar sunulmuş ve geleneksel RL ajanlarının neden bu yolları bulamadığı açıklanmıştır.
Özet (Çeviri)
In this thesis, several methodologies are introduced to automate and improve video game playtesting. These methods are based on Reinforcement Learning (RL) agents. First, synthetic and human-like tester agents are proposed to automate video game testing. The synthetic agent uses test goals generated from game scenarios, and the human-like agent uses test goals extracted from tester trajectories. Tester agents are derived from Sarsa and Monte Carlo Tree Search (MCTS) but focus on finding defects, while traditional game-playing agents focus on maximizing game scores. Second, various MCTS modifications are proposed to enhance the bug-finding capabilities of MCTS. Third, to improve playtesting developing persona is introduced, enabling development in an agent's personality and more robust playtesting. RL algorithms aim to find paths that maximize the total accumulated reward. However, discovering various alternative paths that achieve the same objective is equally essential for playtesting. Consequently, Alternative Path Finder (APF) is introduced to let RL agents discover these alternative paths. We experiment with our proposed methodologies using the General Video Game Artificial Intelligence (GVG-AI) and VizDoom frameworks. The experiments reveal that human-like and synthetic agents compete with human testers' bug-finding performances. Furthermore, the experiments indicate that MCTS modifications improve bug-finding performance. Moreover, the experiments show that developing personas provide better insight into the game and how different players would play. Lastly, the alternative paths found by APF are presented and reasoned why traditional RL agents cannot discover those paths.
Benzer Tezler
- Optimizing artistic process: Exploring efficient environment creation workflows in gaming industry
Sanatsal sürecin optimizasyonu: Oyun endüstrisinde verimli çevre oluşturma süreçlerinin incelenmesi
EMRAH ÖZÇİÇEK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
PROF. DR. LEMAN FİGEN GÜL
- Using artificial intelligence techniques for balancing strategy games
Yapay zeka teknikleriyle strateji oyunlarının dengelemesi
EMRE ÖNAL
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED ABDULLAH BÜLBÜL
- Autonomous vehicle simulation with deep reinforcement learning in video game environment
Video oyun ortamında derin pekiştirmeli öğrenme ile otonom araç simulasyonu
AHMET ONUR GİRAY
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiDokuz Eylül ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE DOĞAN
- Video based detection of driver fatigue
Görüntü aracılığıyla sürücüde yorgunluğun sezimi
ESRA VURAL
Doktora
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiPROF. DR. AYTUL ERCİL
YRD. DOÇ. DR. MUJDAT CETİN
- Video analizi ile baş hareketi sınıflandırma
Head rotation classification via video analysis
FİLİZ GÜRKAN
Yüksek Lisans
Türkçe
2015
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU