Using task-based visual attention for continually improving the performance of autonomous game agents
Otonom oyun ajanlarının performansını sürekli iyileştirmek için görev tabanlı görsel dikkat kullanımı
- Tez No: 866400
- Danışmanlar: PROF. DR. TUNCA DOĞAN, DOÇ. DR. UFUK ÇELİKCAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 118
Özet
Son zamanlardaki makine öğrenmesi ilerlemeleri, dijital zeka alanında makine öğrenmesinin bir alt kümesi olan Derin Takviyeli Öğrenme (DTO) tekniklerinin benimsenmesini beraberinde getirmiştir. DTO, ajanların çevreleriyle etkileşim yoluyla ardışık kararlar almasını ve davranışlarını uyarlamasını sağlayarak deneyimden öğrenme ve karar verme gerektiren görevler için özellikle uygundur. DTO'nun bu artan kullanımı, dijital ajanların yeteneklerini geliştirmek için yeni olanaklar açmış ve otonom oyun oynama, robot kontrolü ve kaynak tahsisi optimizasyonu gibi karmaşık zorluklarla başa çıkmalarını sağlamıştır. DTO'daki bu ilerlemeler, akıllı ajanların çeşitli alanlarda daha verimli bir şekilde nasıl çalıştığına dair yeni bir umut taşımaktadır. Bu tez, adaptif karar verme nedeniyle önemli ilgi toplayan video oyunu oynama ajanlarının belirli bir alanına odaklanmaktadır. Çalışma, DTO tekniklerinin oyun oynama ajanlarının geliştirilmesi ve iyileştirilmesi için uygulanmasını ele almaktadır. DTO, çeşitli karmaşık video oyunu ortamlarında etkili bir şekilde gerçekleştirilmiştir. Birçok oyun ortamında, DeepMind'in temel olarak kullandığı Derin Q-Ağı (DQN) oyun ajanları, insan seviyesinde bir performans sergilemiştir. Bununla birlikte, bu DTO modelleri öğrenmek için birçok deneyim örneğine ihtiyaç duymakta ve çevredeki değişikliklere uyum sağlamada ve karmaşıklığı yönetmede esneklikten yoksundur. Tezin birinci bölümünde, DQN oyun ajanına hem yukarıdan aşağıya hem de aşağıdan yukarıya bir görsel dikkat mekanizmasının birleşik olarak entegre edildiği Dikkat-Artırılmış DQN (DADQN) oyun ajanı önerilmektedir. DADQN modelimiz, girdinin görevle ilgili özelliklerini vurgulamak için dikkat mekanizmasını kullanmaktadır. Bu sayede DQN oyun ajanına bir oyunda nasıl oynanacağını dinamik olarak öğretir. Atari 2600 oyun ortamındaki sekiz oyunun performans değerlendirmesinde, karmaşıklık seviyesi farklı olan oyunlarda, algoritmamızın temel DQN ajanını geride bıraktığını gösteriyoruz. Özellikle, modelimiz daha az zaman adımında daha büyük esneklik ve daha yüksek puanlar elde edebilmektedir. Bu tezin ikinci bölümünde, DQN oyun ajanında Yardımcı Fonksiyonların (YF) kullanımıyla ilişkili sınırlamalar ele alınmaktadır. Atari 2600 oyun ortamındaki bazı oyunlarda yardımcı fonksiyonların entegrasyonu ve daha verimli ve sağlam öğrenmeyi mümkün kılan stratejiler araştırılmaktadır. Bu çalışmalar, karmaşık ve dinamik oyun ortamlarında DQN oyun ajanının gelişimine katkıda bulunmayı amaçlamaktadır. Bu yöntemlerimizin, DQN'yi etkileyen içsel verimsizlik ve esneklik sorunlarını ele almada etkili olduğunu gösteriyoruz, bu da DQN oyun ajanı alanında önemli bir ilerlemeyi işaret ediyor. Yardımcı fonksiyonların ve dikkat mekanizmasının DQN algoritmalarıyla entegrasyonu üzerine yapılan araştırmalar, Atari oyun ortamlarında otonom oyun oynama performansının nasıl iyileştirilebileceğini göstermektedir. Bu tezin bulguları ve içgörüleri, sadece yapay zeka alanına değil, aynı zamanda geniş bir oyunsever ve geliştirici topluluğuna da katkı sağlaması beklenmektedir. Sofistike ve tepki veren oyun ajanlarının yaratılmasında yeni perspektifler sunmaktadır.
Özet (Çeviri)
Recent developments in the field of machine learning have led to the widespread acceptance of Deep Reinforcement Learning (DRL) techniques, which are a subset of machine learning, in the realm of digital intelligence. DRL allows agents to make sequential decisions and adapt their behavior through interactions with their environment, making it particularly suited for tasks that involve decision-making and learning from experience. This increasing utilization of DRL has opened new avenues for enhancing the capabilities of digital agents, enabling them to tackle complex challenges such as autonomous game playing, robotic control, and optimizing resource allocation. These advancements in DRL hold great promise for revolutionizing the ways in which intelligent agents operate in various domains more efficiently." DRL has been effectively performed in various complex video game environments. In many game environments, DeepMind's baseline Deep Q-Network (DQN) game agents performed at a level comparable to that of humans. However, these DRL models require many experience samples to learn and lack the adaptability to changes in the environment and handling complexity. This thesis focusses on the specific domain of video game playing agents that have garnered significant attention due to adaptive decision-making. The study delves into the application of DRL techniques to develop and enhance game playing agents. In the first part of the thesis, we proposed Attention-Augmented DQN(AADQN) game agent by incorporating a combined top-down and bottom-up visual attention mechanism into the DQN game agent to highlight task-relevant features of input. Our AADQN model uses attention mechanis that dynamically teaches a DQN game agent how to play a game by focusing on the most task-related information. In the evaluation of our agent's performance across eight games in the Atari 2600 domain, which vary in complexity, we demonstrate that our algorithm surpasses the baseline DQN agent. Notably, our model can achieve greater flexibility and higher scores at a reduced number of time steps. In the second section of this thesis, we address the limitations associated with employing Auxiliary Functions (AF) in DQN game agents. We investigate uxiliary strategies in some games in the Atari 2600 domain environments by integration of auxiliary functions and exploring methods to enabling more efficient and robust learning, ultimately contributing to the advancement of DQN game agent in complex and dynamic gaming environments We demonstrate that our methods are effective in addressing the inherent inefficiency and inflexibility issues that plague the DQN, thereby marking a significant advancement in the realm of DQN game agents. By investigating the integration auxiliary functions and attention mechanism with DQN algorithms, this thesis show what can be achieved in performance improvement in autonomous game playing in Atari game envrionments. The findings and insights from this thesis are expected to contribute not only to the field of artificial intelligence but also to the broader community of gamers and developers, offering new perspectives on the creation of sophisticated and responsive game agents.
Benzer Tezler
- Subjective intensity and pleasantness in taste
Tatta öznel yoğunluk ve hoşluk' konulu
MARİA GERALDİNE VELDHUİZEN
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Dikkat eksikliği hiperaktivite bozukluğu dikkat eksikliği baskın görünüm tanılı 7-14 yaş erkek olguların görev tabanlı fonksiyonel manyetik rezonans görüntüleme bulgularının sağlıklı erkek olgular ile karşılaştırılması
Comparison of task-based functional magnetic resonance imaging findings between male patients aged 7-14 with attention deficit hyperactivity disorder - predomi̇nantly inattentive presentation and healthy male controls
BUSE GÜNAY
Tıpta Uzmanlık
Türkçe
2023
PsikiyatriEge ÜniversitesiÇocuk Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı
PROF. DR. EYÜP SABRİ ERCAN
- Biased competition in semantic representations across the human brain during category-based visual search
Kategori temelli görsel tarama esnasında beyindeki anlam temsillerinde oluşan taraflı rekabet etkileri
MOHAMMAD SHAHDLOO
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. TOLGA ÇUKUR
- Theoretical and practical aspect of 2D shape assesment using selective fixations
Seçici algı kullanılarak iki boyutlu şekil tanımanın teorik ve pratik analizi
HÜLYA YALÇIN
Yüksek Lisans
İngilizce
1999
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
DOÇ. DR. HURİYE IŞIL BOZMA