Makı̇ne öğrenmesı̇ ı̇le sürü robotları ı̇çı̇n savaş stratejı̇sı̇ modelı̇
A q-learning based approach for simple and multi-agent systems
- Tez No: 605416
- Danışmanlar: DOÇ. DR. MEHMET SERDAR GÜZEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 67
Özet
Bu çalışma, iki boyutlu robot simülasyon platformunda (Robocode) gerçekleşen hem tekli hem de çok ajanlı sistemlere farklı makine öğrenmeye dayalı çözümler önermektedir. Bu dinamik ve programlanabilir platform, çeşitli savaş stratejileri kullanarak robotların çevreleriyle ve birbirleriyle etkileşime girmelerini sağlar. Makine öğrenmesi temelli modellerden biri olan Pekiştirmeli Öğrenme ise bu tarz bir problemin uygulanmasında popüler çözümlerden biridir. Bununla birlikte, özellikle sürekli devam problemler için alanlarda, alan sorunu derinleşmektedir. Temel olarak, Pekiştirmeli Öğrenmenin (PÖ) ana dezavantajlarından biri, basit görevler için sadece birkaç parametre kullanılarak işlevin tanımlanabileceği uygun bir ödül işlevi tasarlamaktır, oysa ödül işlevinin amacını daha karmaşık bir şekilde tahmin etmek zor olabilir. Son araştırmalar, Yapay Sinir Ağı(YSA) tabanlı yaklaşımların bu zorluklarla başa çıkabileceğini, iki boyutlu veya bir boyutlu verilerinden kontrol stratejileri öğrenmeyi de başardığını kanıtlamıştır. Tekli robotlar için PÖ algoritmalarının bu sorunlara ek olarak, robot sayısı arttıkça ve sistemlerin çok robotlu sistemler gibi davranması gerektiğinde, genel algoritma tasarım gereksinimleri daha da karmaşık hale gelmektedir. Bu çalışmada, bu kapsam dahilinde önerilen sistem farklı savaş senaryoları dikkate alınarak doğrulanmıştır. İlk olarak, Pekiştirmeli Öğrenme algoritması tarafından eğitilmiş tek robot, tek bir robota karşı savaşmıştır. Ayrıca, Pekiştirmeli Öğrenme algoritması tarafından eğitilmiş robotlardan çok robotlu ve merkezi bir noktadan yönetilmeyen bir sistem daha tasarlanmıştır. Tasarlanan bu sistem ile oyunun kurallarına göre diğer sürü robotları ile savaşlar yapılmıştır. Üçüncü durumda ise robot, geleneksel bir Yapay Sinir Ağı tabanlı bir sistem kullanılarak eğitilmiştir. Daha sonra, Yığılmış Otomatik Kodlayıcılar(YOK) temel alan derinlemesine öğrenmeye dayalı bir mimari, eğitimli robotların rakip robotlara karşı savaşmasına izin verecek şekilde tasarlanmış ve kullanılmıştır. Pekiştirmeli Öğrenme tabanlı sistemin performansı ve denetlenen öğrenme teknikleri, bu problem için farklı senaryolar kullanılarak karşılaştırılmıştır. Dördüncü olarak ise Genetik Algoritma ile bireysel robotlar geliştirilmiştir. Tüm durumlar için alınan sonuçlar neticesinde Yapay Sinir Ağları tabanlı yaklaşımın diğer yöntemlere göre üstünlüğü ortaya net bir şekilde çıkmaktadır.
Özet (Çeviri)
This study proposes different machine learning based solutions to both single and multi-agent systems, took place on a 2-D simulation platform, namely, Robocode. This dynamic and programmable platform allows agents to interact with the environment and each other by employing a variety of battling strategy. Q-Learning is one of the leading and popular machine learning based solution to be applied such a problem. However, especially for continues spaces the control problem gets deeper. Essentially, one of the main drawbacks of Reinforcement Learning (RL) is to design an appropriate reward function that the function can be described by only employing few parameters for simple tasks, whereas for more complex estimating the goal of the reward function may be a challenging problem. Recent studies prove that Neural Network based approaches can handle these challenges and achieve to learn control strategies from 2-D or 1-D data. Besides those problems of RL algorithms for single robots, once the number of robots increases and the systems need to behave as a multi agent systems, the overall design requirements become more complex. Accordingly, the proposed system is validated by considering different battle scenarios. First, the single robot, trained by Q-Learning algorithm battles against a single robot. Besides, a multi agent system is designed from the robots trained by the Q-Learning algorithm and they battle against multiple robots based on the rules of the game. For the third case, on the other hand, the robot is trained by employing a conventional Artificial Neural Network (ANN) based system. Next, a deep learning based architecture based on Stacked Autoencoders (SAE) is designed and employed to the system so as to allow trained robots battle against competing robots. Fourthly, Genetic Algorithm(GA) is used to evolve single agent robot. The performance of the Q-Learning based system and the supervised learning techniques are compared by employing different scenarios for this problem. Results reveal the superiority of the ANN based approach over other methods.
Benzer Tezler
- Scalable planning and learning framework development for swarm-to-swarm engagement problems with reinforcement learning
Pekiştirmeli öğrenme ile sürüden sürüye angajman problemleri için ölçeklenebilir planlama ve öğrenme sistemi geliştirilmesi
UMUT DEMİR
Yüksek Lisans
İngilizce
2022
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Lidar-tabanlı robot tespiti ve bağıl konumlandırma
Lidar-based robot detection and relative positioning
ZAHİR YILMAZ
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtatürk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ LEVENT BAYINDIR
- Takviye öğrenme kullanarak merkezi olmayan toplu robot navigasyonu
Decentralized swarm navigation using reinforcement learning
TEKİN ALPTÜRK
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET SERDAR GÜZEL
- Parçacık sürü optimizasyonu kullanarak makine öğrenmesi ile konuşma tanıma performansının artırılması
Improved speech recognition performance with machine learning using particle swarm optimization
ARZO MOHAMMED MAHMOOD MAHMOOD
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERSİN KAYA
- Fidye yazılımlarının makine öğrenmesi yöntemleri ile tespit edilmesi
Detection of ransomware using machine learning algorithms
VOLKAN OKUR
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYalova ÜniversitesiAdli Bilişim Ana Bilim Dalı
PROF. DR. MURAT GÖK