Dynamic obstacle avoidance using reinforcement learning
Pekiştirmeli öğrenme kullanarak dinamik engel kaçınımı
- Tez No: 863768
- Danışmanlar: DR. ÖĞR. ÜYESİ ERKAN USLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 111
Özet
Çalışmanın temel amacı, Robot İşletim Sistemi (ROS) ile uyumlu Otonom Mobil Robotlar için derin takviyeli öğrenme (DRL) tabanlı bir lokal planlayıcı geliştirmektir. Deep Q-Network (DQN), DDPG ve TD3 gibi DRL yöntemleri, dinamik ortamlarda (örneğin, robotik navigasyon vb.) ve karmaşık durumlarda klasik yöntemlere kıyasla daha iyi performans göstermektedir. Bu yöntemler, doğrusal ve doğrusal olmayan özellikleri içeren karmaşık durumları öğrenme ve temsil etme yeteneğine sahiptir. DQN'in öğrenme süreci model bağımsızdır ve ayrık aksiyon uzayına sahiptir. Bu çalışmada, DQN yöntemini kullanarak geliştirilen model, klasik yöntemler arasında kabul görmüş TEB ve DWA gibi yerel planlayıcılarla karşılaştırılmıştır. Ayrıca, sürekli aksiyon uzayına sahip DDPG ve TD3 modelleri de geliştirilmiş ve bu modeller, DQN modeli ile karşılaştırılmıştır. Modeller, ortamda nerede olduğunu ve kısmen veya tamamen gözlemlenen ortamın haritasını anlama yeteneğine sahiptir. Modelin davranışı yol takip edebilme ve hem statik hem de dinamik engellerden kaçınımı açısından test edilmiştir. Modeller, engellerden kaçınabilmesi ve en kısa yoldan hedefe gidebilmesi için gereken hız kontrolünü öğrenmek için Müfredat Öğrenme yaklaşımı kullanılarak eğitilmiştir. Çalışmadan elde edilen umut verici sonuçlar dinamik ortamlarda bile başarılı daha genel bir lokal planlayıcı olasılığını yansıtmaktadır.
Özet (Çeviri)
The main objective of the study is to develop a deep reinforcement learning (DRL) based local planner compatible with the Robot Operating System (ROS) for Autonomous Mobile Robots. Deep Q-Network (DQN), DDPG, and TD3, among other DRL methods, exhibit superior performance in dynamic environments (such as robotic navigation, etc.) and complex situations compared to classical methods. These methods have the capability to learn and represent complex scenarios, including both linear and nonlinear features. The learning process of DQN is model-independent and operates in a discrete action space. In this study, a model developed using the DQN method is compared with well-established classical methods such as Timed Elastic Band (TEB) and Dynamic Window Approach (DWA). Additionally, models with continuous action spaces, DDPG and TD3, are developed and compared with the DQN model. The models have the ability to understand their location in the environment and partially or fully observed maps of the environment. The behavior of the models is tested for their ability to follow paths and avoid both static and dynamic obstacles. The models are trained using a Curriculum Learning approach to learn the required speed control to avoid obstacles and reach the goal as quickly as possible. Promising results from the study reflect the possibility of a more general local planner that can succeed even in dynamic environments.
Benzer Tezler
- Addressing parametric uncertainties in autonomous cargo ship heading control
Otonom kargo gemisi yön kontrolündeki parametrik belirsizliklerin ele alınması
AHMAD IRHAM JAMBAK
Yüksek Lisans
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. İSMAİL BAYEZİT
- Dinamik engellerin bulunduğu ortamda gezgin robot için hareket planlama
Motion planning for mobil robot in enviroments where dynamic obstacles
MEHMET LAFCI
Yüksek Lisans
Türkçe
2016
Elektrik ve Elektronik MühendisliğiKarabük ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. İHSAN ULUER
- Design and development of novel obstacle avoidance algorithms using the fully autonomous wheelchair platform
Tam otonom tekerlekli sandalye platformu kullanarak yenilikçi engelden kaçınma algoritmalarının tasarımı ve geliştirilmesi
HOSEIN HOUSHYARI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Dynamic obstacle avoidance with a prototype mobile robot using acoustic infrared and position sensing
Sesötesi, kızıklberisi ve konum algılayıcıları ile donatılmış mobil robot ile hreketli engellerden sakınılması
SANER KURBAY
Yüksek Lisans
İngilizce
1997
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. BİLLUR BARSHAN
- Navigation and path planning for mobile robots in a dynamic environment
Başlık çevirisi yok
MUSTAFA DEMİRCAN