Takviye öğrenme kullanarak merkezi olmayan toplu robot navigasyonu
Decentralized swarm navigation using reinforcement learning
- Tez No: 730441
- Danışmanlar: DOÇ. DR. MEHMET SERDAR GÜZEL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 89
Özet
Bu tez çalışmasında, kısmen dağınık ortamlarda merkezi olmayan çok ajanlı sistemlerde gezinme sorunu ele alınmaktadır. İlgili problemi çözmek için özgün bir makine öğrenimi tabanlı yaklaşım bu çalışma kapsamında önerilmektedir. Bu yaklaşım temelinde, yeni Q-Öğrenme tabanlı sağlam ve esnek bir model önerilmiştir. Bu yöntem sürekli uzay problemini ele almaktadır. Takviyeli Öğrenme algoritmalarında olduğu gibi, Q-Öğrenme bir çevre modeli gerektirmez. Ayrıca, Q-Öğrenme, basit tasarım ve hızlı olma avantajlarına sahiptir. Bununla birlikte, Q-Öğrenmenin bir dezavantajı, çok büyük miktarda belleğe ihtiyaç duyması ve durum alanına eklenen her yeni özellik ile bu bellek ihtiyacının katlanarak büyümesidir. Bu araştırmada, kısmen dağınık ortamlarda sürekli bir alan sorununu çözmek için ajan düzeyinde merkezi olmayan çarpışmadan kaçınma için düşük maliyetli bir model tanıtıyoruz, ardından boyutunu önemli ölçüde (%70) azaltmak için örtüşmeyen Q-Öğrenme özelliklerini birleştirmek için bir yöntem tanıtıyoruz. Ek olarak, bu çalışmada denetleyici tarafından kullanılan duyusal verileri en aza indirmek için başka bir yöntem önerilmiştir. Bu yöntemlerin bir birleşimi, en az 18 adet robotla, düşük bellek maliyetiyle sürü gezinimin üstesinden gelebilir. Bu yöntemler aynı zamanda derin q-öğrenme mimarilerine uyarlanabilir ve performanslarını artırmak ve aynı zamanda öğrenme süresini azaltmak için kullanılabilir. Deneyler, önerilen yöntemin karmaşık senaryolarda çok ajanlı sistemler için de yüksek derecede doğruluk sağladığını ortaya koymaktadır.
Özet (Çeviri)
This thesis addresses the problem of navigating decentralized multi-agent systems in partially cluttered environments and proposes a new machine-learning-based approach to solve it. On the basis of this approach, a new robust and flexible Q-learning-based model is proposed to handle a continuous space problem. As in reinforcement learning (RL) algorithms, Q-learning does not require a model of the environment. Additionally, Q-Learning (QL) has the advantages of being fast and easy to design. However, one disadvantage of QL is that it needs a massive amount of memory, and it grows exponentially with each extra feature introduced to the state space. In this research, we introduce an agent-level decentralized collision avoidance low-cost model for solving a continuous space problem in partially cluttered environments, followed by introducing a method to merge non-overlapping QL features in order to reduce its size significantly by about 70% and make it possible to solve more complicated scenarios with the same memory size. Additionally, another method is proposed for minimizing the sensory data that is used by the controller. A combination of these methods is able to handle swarm navigation low memory cost with at least18 number of robots. These methods can also be adapted for deep q-learning architectures so as to increase their approximation performance and also decrease their learning time process. Experiments reveal that the proposed method also achieves a high degree of accuracy for multi-agent systems in complex scenarios.
Benzer Tezler
- Speeding up branch and bound algorithm for airline Crew scheduling problem by using machine learning techniques
Makine öğrenme teknikleri kullanarak Crew programlama sorunu için şube ve sınava algoritmasının hızlanması
LEILA GHASEMZADEH
Yüksek Lisans
İngilizce
2019
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE
- Automatic generation control using deep reinforcement learning
Başlık çevirisi yok
YASEEN SAADI ABBAS ABBAS
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik MühendisliğiAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OSMAN NURİ UÇAN
- Multi agent reinforcement learning using function approximation
Fonksiyon yaklaşımı kullanarak çoklu etmen takviye öğrenme
OSMAN ABUL
Yüksek Lisans
İngilizce
1999
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FARUK POLAT
- Multi-agent reinforcement learning using roles
Roller kullanarak çoklu-etmen takviye öğrenme
ERKİN ÇİLDEN
Yüksek Lisans
İngilizce
2001
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FARUK POLAT
- Etmenlerin iç modelini kullanarak çoklu etmenlerde bulanık takviyeli öğrenme
Fuzzy reinforcement learning in multi-agent systems using internal model of agents
ALPER KILIÇ
Yüksek Lisans
Türkçe
2002
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ.DR. AHMET ARSLAN