Geri Dön

Using DEC-POMDP algorithms to solve multi-agent decision problems in robot soccer

Robot futbolundaki çoklu karar verme problemlerini çözmek için MO-KGMKS algoritmalarının kullanılması

PDF İndir

  1. Tez No: 312074
  2. Yazar: OKAN AŞIK
  3. Danışmanlar: PROF. DR. H. LEVENT AKIN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2012
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 63

Özet

Merkezi Olmayan Kısmen Gözlemlenebilir Markov Karar Süreci(MO-KGMKS) modeli, çoklu etmen koordinasyonu ve karar vermede kullanılan yeni bir matematiksel çerçevedir. Buna rağmen, gerçek hayat uygulamaları kısıtlıdır. Robot futbolu, MO-KGMKS algoritmalarının potensiyelini araştırmak için en iyi sınama ortamlarındandır. Bu çalışmada, Eker ve Akın [1] tarafından geliştirilen MO-KGMKS algoritması kullanılmaktadır. Algoritma strateji arama algoritmasıdır. Strateji uzayını genetik algoritmayla arar. Genetik algoritma kromozomların uygunluğunu değerlendirmek için bir benzetici kullanır. İki strateji gösterimi vardır. Sonlu durum denetleyicisi gösterimi ayrık MO-KGMKS modelleri için kullanılmaktadır. Eker ve Akın'ın algoritmasına ek olarak, yapay sinir ağları gösterimi sürekli MO-KGMKS modelleri için kullanılmaktadır. Deneyler, Robocup 2B robot futbolu benzeticisinde ve TeamBots benzeticisinde uygulanmıştır. Algoritmanın, robot futbolu gibi karmaşık bir problemi çözebildiği gösterilmektedir. Değişik uygunluk fonksiyonları denenmiş ve oyun skorunun en iyisi olduğu bulunmuştur. MO-KGMKS algoritması, destekli öğrenme algoritması ile karşılaştırılmıştır. Sonlu durum denetleyicili MO-KGMKS algoritmasının destekli öğrenme algoritmasından daha iyi olduğu bulunmuştur. Ayrıca, Keepaway probleminde yapay sinir ağlar temsilini kullanan MO-KGMKS algoritması elle kodlanmış kriter stratejisinden daha iyi olduğu ve destekli öğrenme metoduna yakın sonuçlar elde edildiği gösterilmiştir.

Özet (Çeviri)

Decentralized Partially Observable Markov Decision Process (Dec-POMDP) is a recent mathematical framework which has been used to model multi-agent coordination and decision making. However, its real life applications are limited. Robot soccer is one of the good testbeds to investigate the potential of Dec-POMDP algorithms. In this work, we use the Dec-POMDP algorithm developed by Eker and Akın [1]. The algorithm is a policy search algorithm. It searches the policy space with a genetic algorithm. The genetic algorithm uses a simulator to estimate the fitness of chromosomes. There are two policy representations. The finite state controller representation is used for discrete Dec-POMDP models. We extend Eker and Akın?s algorithm by using a neural network representation for continuous Dec-POMDP problems. The experiments are carried out in the RoboCup 2D robot soccer simulator and TeamBots simulator. We show that the algorithm is capable of solving complex problems such as robot soccer. We have experimented with different fitness functions, and we have found that the game score is the best one. We also compare the performances of the two methods, namely Dec-POMDP algorithm and reinforcement learning. It is found that the Dec-POMDP algorithm with the finite state controller representation is better than the reinforcement learning method. We also show that, in the case of the Keepaway problem, the Dec-POMDP algorithm with the neural network representation is better than a hand-coded benchmark policy, and is also comparable to the reinforcement learning method.

Benzer Tezler

  1. Tez No

    312062

    Evolutionary algorithms for solving DEC-POMDP problems

    MO-KGMKS problemlerinin çözümünde evrimsel algoritmalar

    BARIŞ EKER

    Doktora

    İngilizce

    İngilizce

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HÜSEYİN LEVENT AKIN

  2. Tez No

    292267

    Ardışık karar verme modelleri ve bir pomdp uygulaması

    Sequential decision making methods and a pomdp application

    TÜLAY VAROL

    Yüksek Lisans

    Türkçe

    Türkçe

    2010

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. Y. İLKER TOPÇU

  3. Tez No

    714164

    İş sağlığı ve güvenliği kavramı ve öneminin lise ve altı düzeyindeki öğrencilerde değerlendirilmesi

    Assessment of the concept and importance of workplace safety and HEALTH in HIGH school and lower level students

    RAMAZAN YENER

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Eğitim ve ÖğretimBingöl Üniversitesi

    İş Sağlığı ve Güvenliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ABDULLAH TUNÇ

  4. Tez No

    852486

    Yoğun bakım hemşirelerinin etik duyarlılık düzeyleri ile psikolojik sağlamlıkları arasındaki ilişki

    The relationship between nurses ethical sensitivity levels and psychological resilience in intensive care nurses

    HAVVA ÜNALDI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    HemşirelikSelçuk Üniversitesi

    Hemşirelik Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EMİNE ERGİN

  5. Tez No

    672205

    Mikro alaşım bor içerikli AISI 8620 çeliğinin nikel ara folyo kullanılarak difuzyon kaynağının araştırılması

    Investigation of diffusion welding of micro-alloy boroncontent AISI 8620 steel using nickel intermediate foil

    MUSTAFA SAY

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Metalurji MühendisliğiNevşehir Hacı Bektaş Veli Üniversitesi

    Metalurji ve Malzeme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. CEMAL ÇARBOĞA

Geri Dön