Control of autonomous mobile robots using reinforcement learning
Otonom mobil robotların pekiştirmeli öğrenme ile kontrolü
- Tez No: 604642
- Danışmanlar: DOÇ. DR. AYDIN YEŞİLDİREK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
- Anahtar Kelimeler: yapay zeka, pekiştirmeli öğrenme, otonom robot, kontrol
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 106
Özet
Modern robotlar; nesneleri yönetmek, uzmanlara yardım etmek, bilinmeyen bölgelerde gezinmek ve buraları keşfetmek gibi zor görevler için tasarlanmışlardır. Robotların bu görevleri yerine getirmesi için klasik bir kontrol algoritması tasarlamak ise oldukça karmaşık bir işlemdir. Tasarımcı, robotun karşılaşabileceği tüm olasılıkları ve durumları göz önünde bulundurmalıdır. Bu zaman alıcı bir süreç olup, algoritma tasarımcısının bilinmeyen bir çevre için tüm olasılıkları göz önünde bulundurabilmesi açısından çok da makul ve gerçekleştirilebilir olmayan bir iştir. Bu nedenle, bir robotun akla gelebilecek tüm olasılıklara göre yapması gereken görevler için önceden programlanması işine kıyasla, robotların bu tür görevleri ve olasılıkları kendi başına öğrenmesi daha iyi bir çözüm olarak karşımıza çıkmaktadır. Modern robotların kendi kendilerini eğitmesi için en kullanışlı yöntemlerden biri pekiştirmeli öğrenmedir. Yapılan çalışma; Q tipi öğrenme, Durum Aksiyon sonraki Durum sonraki Aksiyon(SARSA), Derin Q Ağı(DQN) ve Bulanık Kural Interpolasyonu Temelli Q tipi öğrenme(FRIQ) gibi farklı pekiştirmeli öğrenme algoritmalarının, bir robot modelinin iki boyutlu bir labirent ortamında başlangıç noktasından hedefe ulaşana kadar geçen toplam zaman ve adım sayısına bağlı olarak performans kıyasını içermektedir. Bu amaçla iki adet elektrik motorunun direk olarak iki arka tekerleği tahrik ettiği ve bu tekerleklerin tek bir şaside birleştiği diferansiyel sürüşlü bir mobil robotun Simulink ortamında modeli geliştirildi. Daha sonra bu robot modeli iki boyutlu bir labirentin içine yerleştirildi. Bu çalışma, robotun dinamik ve kinematik analizlerini, takometre, yönelim açısı ve yakınlık sensörlerinin modellenmesini içermektedir. İki farklı elektrik motorunun hız kontrolü yine farklı kontrolcüler tarafından kendi üzerlerine takılı olan takometrelerin geri beslemeleri ile yapılmıştır. Yönelim açısı sensörünün geri beslemesi sayesinde robot oryantasyonunun kontrolü gerçekleştirilmiştir. Robot, etrafındaki nesnelere olan mesafesini belirlemek için yakınlık sensörleriyle 45 derecelik açıyla her yöne olacak şekilde donatılmıştır. Her bir yakınlık sensörünün geri beslemesi sayesinde, robot bulunduğu durumu tespit eder ve pekiştirmeli öğrenme algoritmaları vasıtasıyla kendini her yeni adımda eğiterek içerisinde bulunduğu çevreyi keşfeder.
Özet (Çeviri)
Modern robots are designed for complicated tasks and control operations, such as manipulating objects, assisting experts, navigating and exploring unknown territories. Designing a classical control algorithm for robots to execute these tasks is a complicated process. The designer has to consider all the possibilities and situations that robot may face. This is an intense time-consuming process. So, a better solution according to pre-programming a robot for all the tasks, is that the robot to learn such tasks by their selves. One of the most useful method for self-training of modern robots, is reinforcement learning. This thesis presents a comparative model based study of different reinforcement learning algorithms such as Q-Learning, State Action next State next Action(SARSA), Deep Q-Network (DQN) and Fuzzy Rule Interpolation based Q-learning(FRIQ) in terms of the total time and number of the steps to reach the goal. For accomplishing this aim, a Simulink model of a two-wheel differential drive mobile robot, which consists of a chassis with two fixed and in line with each other electric motors, has been developed and placed in a two-dimensional maze. Model is based not only on dynamic and kinematic analysis of robot motion but also its tachometer and proximity sensors. Velocity control of each electric motor has been done by individual controllers by the help of tachometer feedback and orientation control of the robot is done thanks to the yaw angle sensor feedback. The robot is equipped with proximity sensors to determine the distances of objects within its surroundings. By the help of the feedback of each proximity sensor, reinforcement learning algorithms determines a motion strategy to self-train itself and explore the unknown environment. Key-words: artificial intelligence, reinforcement learning, autonomous robot, control.
Benzer Tezler
- Dynamic obstacle avoidance using reinforcement learning
Pekiştirmeli öğrenme kullanarak dinamik engel kaçınımı
MUHARREM KÜÇÜKYILMAZ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKAN USLU
- Simülasyon ortamında derin pekiştirmeli öğrenme ile robot kontrolü
Robot kontrol with deep reinforcement learning in simulation environment
HÜSEYİN PULLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Kapalı ortamlar için derin pekiştirmeli öğrenme algoritmaları ile mobil robotların navigasyonu
Navigation of mobile robots with deep reinforcement learning algorithms for indoor environments
EMRE APAYDIN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALPASLAN BURAK İNNER
- A Behaviour-based robot control system using adaptive heuristic critic
Uyarlanır buluşsal kritik öğrenme kullanan davranış tabanlı bir robot kontrol sistemi
ÖMER SİNAN SARAÇ
Yüksek Lisans
İngilizce
2002
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FERDA NUR ALPASLAN
- Normalizing flows as HMM emissions for learning from demonstration
Gösterimlerden öğrenme için normalleştiren akış emisyonlu saklı markov modelleri
FARZIN NEGAHBANI
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. BARIŞ AKGÜN