Derin pekiştirmeli öğrenme ile otonom gezgin robotların dinamik ortamlarda navigasyonu
Navigation of autonomous mobile robots in dynamic environments with deep reinforcement learning
- Tez No: 714957
- Danışmanlar: DR. ÖĞR. ÜYESİ ADEM TUNCER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Hareketli robotlar, Sayısal görüntü işleme, Mobile robots, Digital image processing
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Yalova Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda teknolojinin gelişmesine bağlı olarak gezgin robotların kullanımı yaygınlaşmakta ve robotların görevlerini otonom olarak gerçekleştirmeleri ile ilgili çalışmaların da sayısı gün geçtikçe artmaktadır. Gezgin robotların hedef tanıma, navigasyon ve engelden sakınım gibi pek çok görevi otonom olarak yerine getirmesi onların üstesinden gelmesi gereken problemlerin başında yer almaktadır. Literatürde sabit engellerin bulunduğu ortamlar ile ilgili pek çok çalışma bulunmaktadır; ancak gerçek dünyada çevrede sabit engellerin yanında hareketli engeller de bulunmaktadır. Gezgin robotların insanların veya diğer hareketli engellerin bulunduğu ortamlarda görevlerini yerine getirebilmeleri oldukça önemlidir. Pekiştirmeli öğrenme bulunulan ortamla ilgili herhangi bir ön bilgi gerektirmemesi ve insan öğrenmesine benzer bir yaklaşım göstermesi nedeniyle son yıllarda üzerinde çalışmaların yoğunlaştığı bir makine öğrenmesi yöntemidir. Pekiştirmeli öğrenmenin en sık kullanılan yöntemi Q öğrenme algoritmasıdır. Q öğrenme algoritması ile derin sinir ağlarının birleştirilmesiyle derin Q öğrenme (veya derin Q ağlar) ortaya çıkmıştır. Robotların engellerle dolu çevrelerde herhangi bir ön bilgiye ihtiyaç duymadan kendi kendilerine öğrenme gerçekleştirebilmeleri, derin Q öğrenmenin geleneksel algoritmalara göre tercih edilmesinin en önemli sebebidir. Bu tez çalışmasında, bir gezgin robotun herhangi bir harita bilgisine ihtiyaç duymadan verilen hedefleri tanıyarak ve engellerden kaçınarak hedeflere ulaşması amaçlanmaktadır. Bu amaçla derin Q öğrenme algoritmalarından, düello çift derin Q öğrenme (D3QN) algoritmasını temel alan üç farklı ağ modeli tasarlanmıştır. Derinlik kamerasından elde edilen derinlik görüntüleri modellerin eğitim sürecinde kullanılmıştır. Gezgin robotun hedefini tanıması ve hedefe doğru yönelmesi için ağ modellerine ek bilgi olarak hedefe olan yön açısı ve mesafe bilgileri verilmiştir. Eğitim ve test süreçleri Robotik işletim sistemi (ROS) ve Gazebo benzetim ortamı üzerinde gerçekleştirilerek sistemin gerçek dünyada uygulanabilirliği gösterilmiştir. Sonuç olarak önerilen modelin gezgin robotların hedeflerini tanıyıp engellerden sakınarak hedeflerine ulaşmalarında başarılı olduğu görülmüştür.
Özet (Çeviri)
In recent years, depending on the development of technology, the use of mobile robots is becoming widespread and the number of studies on autonomous robots is increasing day by day. The fact that mobile robots can perform many tasks autonomously, such as target recognition, navigation and obstacle avoidance, is one of the problems that they must overcome. There are many studies in the literature on environments with static obstacles. However, in the real world, there are dynamic obstacles as well as static obstacles in the environment. It is very important that mobile robots can perform their tasks in environments with people or other dynamic obstacles. Reinforcement learning is a method of machine learning that has been focused on in recent years, since it does not require any prior knowledge of the environment and shows a similar approach to human learning. The most commonly used algorithm of reinforcement learning is the Q learning algorithm. Deep Q learning (or Deep Q networks) has emerged by combining the Q learning algorithm with deep neural networks. In recent years, the use of deep Q learning algorithms in robot navigation has been increasing. The most important reason why deep Q learning is preferred over classical algorithms is that robots can learn on their own without the need for any prior knowledge in environments full of obstacles. In this thesis, it is aimed for a mobile robot to reach the targets by recognizing the given targets and avoiding obstacles without the need for any map information. For this purpose, three different network models were designed based on the dueling double deep Q learning (D3QN) algorithm, one of the deep Q learning algorithms. Depth images obtained from the depth camera were used in the training step of the models. In order for the mobile robot to recognize its target and steer towards the target, the direction angle and distance information to the target are given as additional information to the network models. Training and testing steps were carried out on Robotic operating system (ROS) and Gazebo simulation environment, and the applicability of the system in the real world was demonstrated. As a result, it has been seen that the proposed model is successful in reaching the targets of mobile robots by recognizing their targets and avoiding obstacles.
Benzer Tezler
- Türkiye'de aile planlaması çalışmalarında erkeklerin önemi, hastane personeli ile fabrika işçilerinin doğum kontrol yöntemlerine karşı tutum ve davranranışlarında farklılığın araştırılması
Başlık çevirisi yok
KAMİL MALKOÇLU
Yüksek Lisans
Türkçe
1987
Demografiİstanbul ÜniversitesiAile Sağlığı Ana Bilim Dalı
DOÇ. DR. DERİN KÖSEBAY
- Değişik derim zamanı ve önsoğutmanın Bursa siyahı incir çeşidinin meyve kalitesi ve pazarlama süresi üzerine etkileri
Effects of haruest time and precooling on fruit quality and shelf-life of the fig variety“Bursa siyahı”
FÜSUN GÜRSEL ÇELİKEL
- Tekstil boyamacılığında atık flottede boyama imkanları üzerine araştırma
Başlık çevirisi yok
MEHMET YAKARTEPE
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. KERİM DURAN
- Ön işlemenin ve askorbik asitin dondurularak depolanan yılan balıklarının (Anguilla anguilla) kalitesine etkileri
Başlık çevirisi yok
H.VOLKAN GÖKSEL
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiSu Ürünleri Ana Bilim Dalı
DOÇ. DR. AYDIN URAL
- Antakya tarihi ticaret merkezi mekansal yapı değişim ve gelişim sürecinin kent ticaret merkezi planlamasına etkinliği
The Effectiveness of spatial structural chance and development period of the historical trade center of Antakya in the urban trade planning
NEVİN TURGUT
Yüksek Lisans
Türkçe
1986
Şehircilik ve Bölge PlanlamaGazi ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
YRD. DOÇ. DR. NURCAN UYDAŞ