Derin pekiştirmeli öğrenme ile otonom gezgin robotların dinamik ortamlarda navigasyonu
Navigation of autonomous mobile robots in dynamic environments with deep reinforcement learning
- Tez No: 714957
- Danışmanlar: DR. ÖĞR. ÜYESİ ADEM TUNCER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Yalova Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 77
Özet
Son yıllarda teknolojinin gelişmesine bağlı olarak gezgin robotların kullanımı yaygınlaşmakta ve robotların görevlerini otonom olarak gerçekleştirmeleri ile ilgili çalışmaların da sayısı gün geçtikçe artmaktadır. Gezgin robotların hedef tanıma, navigasyon ve engelden sakınım gibi pek çok görevi otonom olarak yerine getirmesi onların üstesinden gelmesi gereken problemlerin başında yer almaktadır. Literatürde sabit engellerin bulunduğu ortamlar ile ilgili pek çok çalışma bulunmaktadır; ancak gerçek dünyada çevrede sabit engellerin yanında hareketli engeller de bulunmaktadır. Gezgin robotların insanların veya diğer hareketli engellerin bulunduğu ortamlarda görevlerini yerine getirebilmeleri oldukça önemlidir. Pekiştirmeli öğrenme bulunulan ortamla ilgili herhangi bir ön bilgi gerektirmemesi ve insan öğrenmesine benzer bir yaklaşım göstermesi nedeniyle son yıllarda üzerinde çalışmaların yoğunlaştığı bir makine öğrenmesi yöntemidir. Pekiştirmeli öğrenmenin en sık kullanılan yöntemi Q öğrenme algoritmasıdır. Q öğrenme algoritması ile derin sinir ağlarının birleştirilmesiyle derin Q öğrenme (veya derin Q ağlar) ortaya çıkmıştır. Robotların engellerle dolu çevrelerde herhangi bir ön bilgiye ihtiyaç duymadan kendi kendilerine öğrenme gerçekleştirebilmeleri, derin Q öğrenmenin geleneksel algoritmalara göre tercih edilmesinin en önemli sebebidir. Bu tez çalışmasında, bir gezgin robotun herhangi bir harita bilgisine ihtiyaç duymadan verilen hedefleri tanıyarak ve engellerden kaçınarak hedeflere ulaşması amaçlanmaktadır. Bu amaçla derin Q öğrenme algoritmalarından, düello çift derin Q öğrenme (D3QN) algoritmasını temel alan üç farklı ağ modeli tasarlanmıştır. Derinlik kamerasından elde edilen derinlik görüntüleri modellerin eğitim sürecinde kullanılmıştır. Gezgin robotun hedefini tanıması ve hedefe doğru yönelmesi için ağ modellerine ek bilgi olarak hedefe olan yön açısı ve mesafe bilgileri verilmiştir. Eğitim ve test süreçleri Robotik işletim sistemi (ROS) ve Gazebo benzetim ortamı üzerinde gerçekleştirilerek sistemin gerçek dünyada uygulanabilirliği gösterilmiştir. Sonuç olarak önerilen modelin gezgin robotların hedeflerini tanıyıp engellerden sakınarak hedeflerine ulaşmalarında başarılı olduğu görülmüştür.
Özet (Çeviri)
In recent years, depending on the development of technology, the use of mobile robots is becoming widespread and the number of studies on autonomous robots is increasing day by day. The fact that mobile robots can perform many tasks autonomously, such as target recognition, navigation and obstacle avoidance, is one of the problems that they must overcome. There are many studies in the literature on environments with static obstacles. However, in the real world, there are dynamic obstacles as well as static obstacles in the environment. It is very important that mobile robots can perform their tasks in environments with people or other dynamic obstacles. Reinforcement learning is a method of machine learning that has been focused on in recent years, since it does not require any prior knowledge of the environment and shows a similar approach to human learning. The most commonly used algorithm of reinforcement learning is the Q learning algorithm. Deep Q learning (or Deep Q networks) has emerged by combining the Q learning algorithm with deep neural networks. In recent years, the use of deep Q learning algorithms in robot navigation has been increasing. The most important reason why deep Q learning is preferred over classical algorithms is that robots can learn on their own without the need for any prior knowledge in environments full of obstacles. In this thesis, it is aimed for a mobile robot to reach the targets by recognizing the given targets and avoiding obstacles without the need for any map information. For this purpose, three different network models were designed based on the dueling double deep Q learning (D3QN) algorithm, one of the deep Q learning algorithms. Depth images obtained from the depth camera were used in the training step of the models. In order for the mobile robot to recognize its target and steer towards the target, the direction angle and distance information to the target are given as additional information to the network models. Training and testing steps were carried out on Robotic operating system (ROS) and Gazebo simulation environment, and the applicability of the system in the real world was demonstrated. As a result, it has been seen that the proposed model is successful in reaching the targets of mobile robots by recognizing their targets and avoiding obstacles.
Benzer Tezler
- Simülasyon ortamında derin pekiştirmeli öğrenme ile robot kontrolü
Robot kontrol with deep reinforcement learning in simulation environment
HÜSEYİN PULLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Autonomous vehicle simulation with deep reinforcement learning in video game environment
Video oyun ortamında derin pekiştirmeli öğrenme ile otonom araç simulasyonu
AHMET ONUR GİRAY
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiDokuz Eylül ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE DOĞAN
- Autonomous heading control of a fixed-wing aircraft with deep reinforcement learning
Sabit kanatlı bir uçak için derin pekiştirmeli öğrenme ile otonom yönelim kontrolü
FATİH AHMET SARIGÜL
Yüksek Lisans
İngilizce
2022
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BAYEZİT
- Investigating the missing pieces of sensorimotor reinforcement learning agents for autonomous driving
Sensöre dayalı pekiştirmeli öğrenme ile otonom sürüş için eksik kalan parçaların incelenmesi
EGE ONAT ÖZSÜER
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATMA GÜNEY
DR. ÖĞR. ÜYESİ BARIŞ AKGÜN
- Unity3D ortamında derin pekiştirmeli öğrenme ile eğitilen uçakların performansı
Performance evaluation of aircraft agents trained with deep reinforcement learning in Unity3D environment
METE CANTEKİN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolİSTANBUL NİŞANTAŞI ÜNİVERSİTESİYazılım Mühendisliği Ana Bilim Dalı
DR. İBRAHİM FURKAN İNCE
PROF. ONUR OSMAN