Geri Dön

Reinforcement learning of multi-agent team behavior

Çoklu-etmen takım davranışlarının pekiştirmeli öğrenilmesi

  1. Tez No: 139361
  2. Yazar: MEHMET UTKU TATLIDEDE
  3. Danışmanlar: YRD. DOÇ. DR. LEVENT AKIN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2003
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 62

Özet

ÖZET ÇOKLU-ETMEN TAKIM DAVRANIŞLARININ PEKİŞTİRMELİ ÖĞRENİLMESİ Pekiştirmeli öğrenme (RL), etmenlerin tecrübe ile öğrendikleri genel problem çözümü için bir çerçevedir. Çoklu etmen davranışlarını incelemek için popülerliği ve karmaşıklığı sebebiyle robot futbolu seçildi. Bu çalışmada, bir robot futbol takımını eğitmek için üç değişik yol izlendi. Birinci yaklaşım RL'i bir takımın tamamını eğitmek için doğrudan kullanmıştır. Bu deneyler için pekiştirmeli öğrenme yöntemi olarak Q(A), fonksiyon yakınsama için Beyincik Örnekli Boğum Yöneticisi (CMAC) ve etmenlerin hareketlerini yerine getirmek içinse motor şemaları kullanıldı. Eğitim evresinde iki takım farklı ödül şemaları ve farklı rakipler kullanılarak eğitildi. Her iki takımda elle geliştirilmiş orta seviyeli takımları yenmeyi başardı. İkinci yaklaşım ödülleri şekillendirerek kaleci rolü oluşturmayı hedeflemiştir. Bu takım bütün bir takım olrak eğitilen üç takım arasındaki en iyi takımdır. Bu çalışmada etmenlerin takım davranışlarını ölçmek amacıyla istatistiksel bir yöntem geliştirilmiş etmen saldırganlığı, takım saldırganlığı, takım türdeşliği ve takım yoğunluğu isimli ölçekler tanımlandı. Eğitim sonrasında takımlar bu ölçeklere göre birbirleriyle karşılaştırılmıştır. Üçücü yaklaşımda, RL edil gen etmenlerin kullandıkları karar alma yönteminin yerini almıştır. Market yönteminin rol ilişkilendirme mekanizması RL ile karşılaştırılmış RL'in gelişme gösterdiği kaydedilmiştir. Bu üç yaklaşım içerisinde, edilgen etmenlerin öğrendiği üçüncü yaklaşım en umut verici olandır çünkü tasarımcılara etken oyuncular için kendi kabul edilmiş stratejilerini uygu lama fırsatı verip bunun yanında çoklu-etmen alanındaki daha karmaşık bir problem olan rol ilişkilendirme problemini etken oyuncuların politikalarını öğrenmeye gerek duy madan çözer.

Özet (Çeviri)

IV ABSTRACT REINFORCEMENT LEARNING OF MULTI- AGENT TEAM BEHAVIOR Reinforcement Learning (RL) is a framework for general problem solving where an agent can learn through experience. The soccer game is selected as the problem domain s a way of experimenting multi-agent team behaviors because of its popularity and complexity. In this study, three different ways of training a robotic soccer team is experimented. The first approach uses RL directly to train a complete team. For these experiments, the learner implements Q(A) Learning as the RL algorithm, Cerebellar Model Articulation Controller (CMAC) as the function approximation method and motor schemas as the locomotion unit. Both teams are trained using different reward schemas and opponent teams through learning phase. As a result, both teams are able to learn strategies to defeat moderate level hand-coded teams. The second approach uses reward shaping to generate roles especially a goalie. This team is the best among the three teams trained as a whole. A statistical method is introduced to evaluate team behaviors by defining metrics for an agent's offensiveness, team's offensiveness and team's homogeneity. The resulting teams are compared to each other by using novel metrics defined in this study. In the third approach, RL replaces a decision algorithm used by passive players. Market algorithm's role assignment mechanism is compared with the RL version where RL shows improvements. Among the three approaches, the third approach, passive player learning, is the most promising one because its design enables the designers to implement their own accepted strategies for active players and solves a more complex task namely role assignment in multi-agent domain without trying to relearn the active player's strategy.

Benzer Tezler

  1. Reinforcement learning using potential field for role assignment in a multi-robot two-team game

    Çoklu-robotlu, iki-takımlı bir oyunda rol belirlemeyi potensiyal alanlar kullanarak yapan pekişmeli öğrenme

    FİDAN ÖZGÜL

    Yüksek Lisans

    İngilizce

    İngilizce

    2004

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. İSMET ERKMEN

    PROF. DR. AYDAN ERKMEN

  2. Çok ajanlı kaçma kovalama problemlerine takviyeli öğrenme yaklaşımı

    An approach to multi agent pursuit evasion games using reinforcement learning

    AHMET TUNÇ BİLGİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. ESRA KADIOĞLU ÜRTİŞ

  3. Design and implementation of a simulated autonomous rescue team

    Benzetimlenmiş özerk arama kurtarma ekibi tasarım ve geliştirilmesi

    BİLGE TALAYSÜM

    Yüksek Lisans

    İngilizce

    İngilizce

    2003

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. LEVENT AKIN

  4. Hava saldırı senaryoları için merkezi olmayan işbirlikçi çok ajanlı pekiştirmeli öğrenme

    Decentralized collaborative multi-agent reinforcement learning for air attack scenarios

    BERİRE GÜNDÜZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MEHMET DİKMEN

  5. Modüler bulanık takviyeli öğrenme

    Modular fuzzy reinforcement learning

    İRFAN GÜLTEKİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2002

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET ARSLAN