Geri Dön

Takviye öğrenme kullanarak merkezi olmayan toplu robot navigasyonu

Decentralized swarm navigation using reinforcement learning

  1. Tez No: 730441
  2. Yazar: TEKİN ALPTÜRK
  3. Danışmanlar: DOÇ. DR. MEHMET SERDAR GÜZEL
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: Ankara Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 89

Özet

Bu tez çalışmasında, kısmen dağınık ortamlarda merkezi olmayan çok ajanlı sistemlerde gezinme sorunu ele alınmaktadır. İlgili problemi çözmek için özgün bir makine öğrenimi tabanlı yaklaşım bu çalışma kapsamında önerilmektedir. Bu yaklaşım temelinde, yeni Q-Öğrenme tabanlı sağlam ve esnek bir model önerilmiştir. Bu yöntem sürekli uzay problemini ele almaktadır. Takviyeli Öğrenme algoritmalarında olduğu gibi, Q-Öğrenme bir çevre modeli gerektirmez. Ayrıca, Q-Öğrenme, basit tasarım ve hızlı olma avantajlarına sahiptir. Bununla birlikte, Q-Öğrenmenin bir dezavantajı, çok büyük miktarda belleğe ihtiyaç duyması ve durum alanına eklenen her yeni özellik ile bu bellek ihtiyacının katlanarak büyümesidir. Bu araştırmada, kısmen dağınık ortamlarda sürekli bir alan sorununu çözmek için ajan düzeyinde merkezi olmayan çarpışmadan kaçınma için düşük maliyetli bir model tanıtıyoruz, ardından boyutunu önemli ölçüde (%70) azaltmak için örtüşmeyen Q-Öğrenme özelliklerini birleştirmek için bir yöntem tanıtıyoruz. Ek olarak, bu çalışmada denetleyici tarafından kullanılan duyusal verileri en aza indirmek için başka bir yöntem önerilmiştir. Bu yöntemlerin bir birleşimi, en az 18 adet robotla, düşük bellek maliyetiyle sürü gezinimin üstesinden gelebilir. Bu yöntemler aynı zamanda derin q-öğrenme mimarilerine uyarlanabilir ve performanslarını artırmak ve aynı zamanda öğrenme süresini azaltmak için kullanılabilir. Deneyler, önerilen yöntemin karmaşık senaryolarda çok ajanlı sistemler için de yüksek derecede doğruluk sağladığını ortaya koymaktadır.

Özet (Çeviri)

This thesis addresses the problem of navigating decentralized multi-agent systems in partially cluttered environments and proposes a new machine-learning-based approach to solve it. On the basis of this approach, a new robust and flexible Q-learning-based model is proposed to handle a continuous space problem. As in reinforcement learning (RL) algorithms, Q-learning does not require a model of the environment. Additionally, Q-Learning (QL) has the advantages of being fast and easy to design. However, one disadvantage of QL is that it needs a massive amount of memory, and it grows exponentially with each extra feature introduced to the state space. In this research, we introduce an agent-level decentralized collision avoidance low-cost model for solving a continuous space problem in partially cluttered environments, followed by introducing a method to merge non-overlapping QL features in order to reduce its size significantly by about 70% and make it possible to solve more complicated scenarios with the same memory size. Additionally, another method is proposed for minimizing the sensory data that is used by the controller. A combination of these methods is able to handle swarm navigation low memory cost with at least18 number of robots. These methods can also be adapted for deep q-learning architectures so as to increase their approximation performance and also decrease their learning time process. Experiments reveal that the proposed method also achieves a high degree of accuracy for multi-agent systems in complex scenarios.

Benzer Tezler

  1. Speeding up branch and bound algorithm for airline Crew scheduling problem by using machine learning techniques

    Makine öğrenme teknikleri kullanarak Crew programlama sorunu için şube ve sınava algoritmasının hızlanması

    LEILA GHASEMZADEH

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Havacılık Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE

  2. Automatic generation control using deep reinforcement learning

    Başlık çevirisi yok

    YASEEN SAADI ABBAS ABBAS

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik MühendisliğiAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. OSMAN NURİ UÇAN

  3. Multi agent reinforcement learning using function approximation

    Fonksiyon yaklaşımı kullanarak çoklu etmen takviye öğrenme

    OSMAN ABUL

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. FARUK POLAT

  4. Multi-agent reinforcement learning using roles

    Roller kullanarak çoklu-etmen takviye öğrenme

    ERKİN ÇİLDEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2001

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. FARUK POLAT

  5. Etmenlerin iç modelini kullanarak çoklu etmenlerde bulanık takviyeli öğrenme

    Fuzzy reinforcement learning in multi-agent systems using internal model of agents

    ALPER KILIÇ

    Yüksek Lisans

    Türkçe

    Türkçe

    2002

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ.DR. AHMET ARSLAN