Reinforcement learning of multi-agent team behavior
Çoklu-etmen takım davranışlarının pekiştirmeli öğrenilmesi
- Tez No: 139361
- Danışmanlar: YRD. DOÇ. DR. LEVENT AKIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2003
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 62
Özet
ÖZET ÇOKLU-ETMEN TAKIM DAVRANIŞLARININ PEKİŞTİRMELİ ÖĞRENİLMESİ Pekiştirmeli öğrenme (RL), etmenlerin tecrübe ile öğrendikleri genel problem çözümü için bir çerçevedir. Çoklu etmen davranışlarını incelemek için popülerliği ve karmaşıklığı sebebiyle robot futbolu seçildi. Bu çalışmada, bir robot futbol takımını eğitmek için üç değişik yol izlendi. Birinci yaklaşım RL'i bir takımın tamamını eğitmek için doğrudan kullanmıştır. Bu deneyler için pekiştirmeli öğrenme yöntemi olarak Q(A), fonksiyon yakınsama için Beyincik Örnekli Boğum Yöneticisi (CMAC) ve etmenlerin hareketlerini yerine getirmek içinse motor şemaları kullanıldı. Eğitim evresinde iki takım farklı ödül şemaları ve farklı rakipler kullanılarak eğitildi. Her iki takımda elle geliştirilmiş orta seviyeli takımları yenmeyi başardı. İkinci yaklaşım ödülleri şekillendirerek kaleci rolü oluşturmayı hedeflemiştir. Bu takım bütün bir takım olrak eğitilen üç takım arasındaki en iyi takımdır. Bu çalışmada etmenlerin takım davranışlarını ölçmek amacıyla istatistiksel bir yöntem geliştirilmiş etmen saldırganlığı, takım saldırganlığı, takım türdeşliği ve takım yoğunluğu isimli ölçekler tanımlandı. Eğitim sonrasında takımlar bu ölçeklere göre birbirleriyle karşılaştırılmıştır. Üçücü yaklaşımda, RL edil gen etmenlerin kullandıkları karar alma yönteminin yerini almıştır. Market yönteminin rol ilişkilendirme mekanizması RL ile karşılaştırılmış RL'in gelişme gösterdiği kaydedilmiştir. Bu üç yaklaşım içerisinde, edilgen etmenlerin öğrendiği üçüncü yaklaşım en umut verici olandır çünkü tasarımcılara etken oyuncular için kendi kabul edilmiş stratejilerini uygu lama fırsatı verip bunun yanında çoklu-etmen alanındaki daha karmaşık bir problem olan rol ilişkilendirme problemini etken oyuncuların politikalarını öğrenmeye gerek duy madan çözer.
Özet (Çeviri)
IV ABSTRACT REINFORCEMENT LEARNING OF MULTI- AGENT TEAM BEHAVIOR Reinforcement Learning (RL) is a framework for general problem solving where an agent can learn through experience. The soccer game is selected as the problem domain s a way of experimenting multi-agent team behaviors because of its popularity and complexity. In this study, three different ways of training a robotic soccer team is experimented. The first approach uses RL directly to train a complete team. For these experiments, the learner implements Q(A) Learning as the RL algorithm, Cerebellar Model Articulation Controller (CMAC) as the function approximation method and motor schemas as the locomotion unit. Both teams are trained using different reward schemas and opponent teams through learning phase. As a result, both teams are able to learn strategies to defeat moderate level hand-coded teams. The second approach uses reward shaping to generate roles especially a goalie. This team is the best among the three teams trained as a whole. A statistical method is introduced to evaluate team behaviors by defining metrics for an agent's offensiveness, team's offensiveness and team's homogeneity. The resulting teams are compared to each other by using novel metrics defined in this study. In the third approach, RL replaces a decision algorithm used by passive players. Market algorithm's role assignment mechanism is compared with the RL version where RL shows improvements. Among the three approaches, the third approach, passive player learning, is the most promising one because its design enables the designers to implement their own accepted strategies for active players and solves a more complex task namely role assignment in multi-agent domain without trying to relearn the active player's strategy.
Benzer Tezler
- Reinforcement learning using potential field for role assignment in a multi-robot two-team game
Çoklu-robotlu, iki-takımlı bir oyunda rol belirlemeyi potensiyal alanlar kullanarak yapan pekişmeli öğrenme
FİDAN ÖZGÜL
Yüksek Lisans
İngilizce
2004
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. İSMET ERKMEN
PROF. DR. AYDAN ERKMEN
- Çok ajanlı kaçma kovalama problemlerine takviyeli öğrenme yaklaşımı
An approach to multi agent pursuit evasion games using reinforcement learning
AHMET TUNÇ BİLGİN
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ESRA KADIOĞLU ÜRTİŞ
- Design and implementation of a simulated autonomous rescue team
Benzetimlenmiş özerk arama kurtarma ekibi tasarım ve geliştirilmesi
BİLGE TALAYSÜM
Yüksek Lisans
İngilizce
2003
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. LEVENT AKIN
- Hava saldırı senaryoları için merkezi olmayan işbirlikçi çok ajanlı pekiştirmeli öğrenme
Decentralized collaborative multi-agent reinforcement learning for air attack scenarios
BERİRE GÜNDÜZ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MEHMET DİKMEN
- Modüler bulanık takviyeli öğrenme
Modular fuzzy reinforcement learning
İRFAN GÜLTEKİN
Yüksek Lisans
Türkçe
2002
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET ARSLAN