Using DEC-POMDP algorithms to solve multi-agent decision problems in robot soccer
Robot futbolundaki çoklu karar verme problemlerini çözmek için MO-KGMKS algoritmalarının kullanılması
- Tez No: 312074
- Danışmanlar: PROF. DR. H. LEVENT AKIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 63
Özet
Merkezi Olmayan Kısmen Gözlemlenebilir Markov Karar Süreci(MO-KGMKS) modeli, çoklu etmen koordinasyonu ve karar vermede kullanılan yeni bir matematiksel çerçevedir. Buna rağmen, gerçek hayat uygulamaları kısıtlıdır. Robot futbolu, MO-KGMKS algoritmalarının potensiyelini araştırmak için en iyi sınama ortamlarındandır. Bu çalışmada, Eker ve Akın [1] tarafından geliştirilen MO-KGMKS algoritması kullanılmaktadır. Algoritma strateji arama algoritmasıdır. Strateji uzayını genetik algoritmayla arar. Genetik algoritma kromozomların uygunluğunu değerlendirmek için bir benzetici kullanır. İki strateji gösterimi vardır. Sonlu durum denetleyicisi gösterimi ayrık MO-KGMKS modelleri için kullanılmaktadır. Eker ve Akın'ın algoritmasına ek olarak, yapay sinir ağları gösterimi sürekli MO-KGMKS modelleri için kullanılmaktadır. Deneyler, Robocup 2B robot futbolu benzeticisinde ve TeamBots benzeticisinde uygulanmıştır. Algoritmanın, robot futbolu gibi karmaşık bir problemi çözebildiği gösterilmektedir. Değişik uygunluk fonksiyonları denenmiş ve oyun skorunun en iyisi olduğu bulunmuştur. MO-KGMKS algoritması, destekli öğrenme algoritması ile karşılaştırılmıştır. Sonlu durum denetleyicili MO-KGMKS algoritmasının destekli öğrenme algoritmasından daha iyi olduğu bulunmuştur. Ayrıca, Keepaway probleminde yapay sinir ağlar temsilini kullanan MO-KGMKS algoritması elle kodlanmış kriter stratejisinden daha iyi olduğu ve destekli öğrenme metoduna yakın sonuçlar elde edildiği gösterilmiştir.
Özet (Çeviri)
Decentralized Partially Observable Markov Decision Process (Dec-POMDP) is a recent mathematical framework which has been used to model multi-agent coordination and decision making. However, its real life applications are limited. Robot soccer is one of the good testbeds to investigate the potential of Dec-POMDP algorithms. In this work, we use the Dec-POMDP algorithm developed by Eker and Akın [1]. The algorithm is a policy search algorithm. It searches the policy space with a genetic algorithm. The genetic algorithm uses a simulator to estimate the fitness of chromosomes. There are two policy representations. The finite state controller representation is used for discrete Dec-POMDP models. We extend Eker and Akın?s algorithm by using a neural network representation for continuous Dec-POMDP problems. The experiments are carried out in the RoboCup 2D robot soccer simulator and TeamBots simulator. We show that the algorithm is capable of solving complex problems such as robot soccer. We have experimented with different fitness functions, and we have found that the game score is the best one. We also compare the performances of the two methods, namely Dec-POMDP algorithm and reinforcement learning. It is found that the Dec-POMDP algorithm with the finite state controller representation is better than the reinforcement learning method. We also show that, in the case of the Keepaway problem, the Dec-POMDP algorithm with the neural network representation is better than a hand-coded benchmark policy, and is also comparable to the reinforcement learning method.
Benzer Tezler
- Evolutionary algorithms for solving DEC-POMDP problems
MO-KGMKS problemlerinin çözümünde evrimsel algoritmalar
BARIŞ EKER
Doktora
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN LEVENT AKIN
- Ardışık karar verme modelleri ve bir pomdp uygulaması
Sequential decision making methods and a pomdp application
TÜLAY VAROL
Yüksek Lisans
Türkçe
2010
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. Y. İLKER TOPÇU
- İş sağlığı ve güvenliği kavramı ve öneminin lise ve altı düzeyindeki öğrencilerde değerlendirilmesi
Assessment of the concept and importance of workplace safety and HEALTH in HIGH school and lower level students
RAMAZAN YENER
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimBingöl Üniversitesiİş Sağlığı ve Güvenliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULLAH TUNÇ
- Yoğun bakım hemşirelerinin etik duyarlılık düzeyleri ile psikolojik sağlamlıkları arasındaki ilişki
The relationship between nurses ethical sensitivity levels and psychological resilience in intensive care nurses
HAVVA ÜNALDI
Yüksek Lisans
Türkçe
2024
HemşirelikSelçuk ÜniversitesiHemşirelik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMİNE ERGİN
- Mikro alaşım bor içerikli AISI 8620 çeliğinin nikel ara folyo kullanılarak difuzyon kaynağının araştırılması
Investigation of diffusion welding of micro-alloy boroncontent AISI 8620 steel using nickel intermediate foil
MUSTAFA SAY
Yüksek Lisans
Türkçe
2021
Metalurji MühendisliğiNevşehir Hacı Bektaş Veli ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
DOÇ. DR. CEMAL ÇARBOĞA