Simülasyon ortamında derin pekiştirmeli öğrenme ile robot kontrolü
Robot kontrol with deep reinforcement learning in simulation environment
- Tez No: 850874
- Danışmanlar: PROF. DR. CİHAN KARAKUZU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Bilecik Şeyh Edebali Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 56
Özet
Makine öğreniminin bir dalı olan Pekiştirmeli Öğrenme, bir ortamda ödülleri en üst düzeye çıkarmak için eylemleri seçmeye dayalı öğrenme yöntemidir. Doğada çokça gözlemlenen bu davranışsal öğrenme şekli, hakkında bilgi sahibi olunmayan ortamlarda otonom görevler için başarılı sonuçlar verir. Pekiştirmeli Öğrenme yöntemlerinden, Derin Pekiştirmeli Öğrenme ile otonom görevler için gezgin robotları eğitebiliriz. Gezgin robotlar, eş zamanlı konum belirleme ve haritalama (SLAM) algoritmaları ile ortam haritasını çıkararak yol ve hareket planlama görevlerini yapabilirler. Ancak haritası çıkarılmamış ortamlarda hareket planlamak ve yapmak zorlu bir görevdir. Çalışmamızda, bu zorlukları aşmak için Derin Pekiştirmeli Öğrenme yöntemleri kullanılarak gezgin robotlar ile bilinmeyen ortamlarda belirlenen görevleri yerine getirmek amaçlanmıştır. Robot İşletim Sistemi ve benzetim ortamı olarak sıklıkla kullanılan, 3 boyutlu modeller ile çalışabilen Gazebo benzetim ortamı ile gerekli ortam oluşturulmuş ve TurtleBot3 gezgin robotu ile engellere çarpmadan bu ortamda belirlenen hedeflere ulaşmak amaçlanmıştır. Çalışmamızda, Pekiştirmeli Öğrenmenin sıklıkla kullanılan yöntemi Q Öğrenmenin sınırlamalarından dolayı, karmaşık problemler için bellek yerine sinir ağlarını kullanan Derin Pekiştirmeli Öğrenme yöntemlerinden Derin Q Ağları tercih edilmiştir. Gazebo'da oluşturulan ortamda TurtleBot3 gezgin robotu ile eğitim yapılmıştır. Pekiştirmeli öğrenmenin temel özelliklerinden, açgözlü yaklaşım politikasına göre başlangıç aşamasında rastgele yapılan hareketler yerini ilerleyen aşamalarda sinir ağı modelinin karar verdiği hareketlere bırakarak hedef noktayı art arda defalarca bulabilen ve bölüm boyunca topladığı ödülü artırabilen bir model oluşturulmuş ve bu modelin başarımı grafiklerle gösterilmiştir.
Özet (Çeviri)
Reinforcement Learning, a branch of machine learning, is a method of learning based on choosing actions to maximize rewards in an environment. This form of behavioral learning, which is widely observed in nature, gives successful results for autonomous tasks in environments where there is no information about. We can train mobile robots for autonomous tasks with Deep Reinforcement Learning, one of the Reinforcement Learning methods. Mobile robots can perform path and movement planning tasks by mapping the environment with simultaneous positioning and mapping (SLAM) algorithms. However, operating in uncharted environments is a challenging task. In our study, we aimed to overcome these difficulties by using Deep Reinforcement Learning methods to perform specified tasks in unknown environments with mobile robots. The necessary environment was created with the Robot Operating System and the Gazebo simulation environment, which can work with the 3D models frequently used on simulation platform, and the TurtleBot3 mobile robot aimed to reach the determined goals in this environment without hitting obstacles. Due to the limitations of Q Learning, the frequently used method of reinforcement learning, Deep Q Networks, one of the Deep Reinforcement Learning methods that use neural networks instead of memory for complex problems, were preferred in our study. Training was conducted with the TurtleBot3 mobile robot in the environment formed in Gazebo. According to the greedy approach policy, which is one of the basic features of reinforcement learning, a model that can find the target point many times and increase the reward it collects throughout the episode, by leaving the movements made randomly at the beginning to the movements decided by the neural network model in the later stages, has been constituted and performance of this model has been showed with graphics.
Benzer Tezler
- Failure prevention in robot manipulation using adversarial reinforcement learning
Çekişmeli pekiştirmeli öğrenme ile robot etkileşimlerinde hata önleme
MERT CAN KUTAY
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL UZER
- Motion planning and control with randomized payloads using deep reinforcement learning
Derin pekiştirmeli öğrenme kullanarak rastgele yükler ile hareket planlama ve kontrol
ALİ DEMİR
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Deep reinforcement learning approach in control of Stewart platform- simulation and control
Stewart platformunun kontrolünde derin pekistirmeli öğrenme yaklaşımıc- simülasyon ve kontrol
HADI YADAVARI
Doktora
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERHAT İKİZOĞLU
DR. ÖĞR. ÜYESİ VAHİT BARIŞ TAVAKOL
- Derin pekiştirmeli öğrenme kullanarak insansı robotlar için itme kurtarma kontrolsisteminin geliştirilmesi
Development of push-recovery control system for humanoid robots using deep reinforcement learning
EMRAH ASLAN
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiDicle ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMET ALİ ARSERİM
PROF. DR. AYŞEGÜL UÇAR
- Unity3D ortamında derin pekiştirmeli öğrenme ile eğitilen uçakların performansı
Performance evaluation of aircraft agents trained with deep reinforcement learning in Unity3D environment
METE CANTEKİN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolİSTANBUL NİŞANTAŞI ÜNİVERSİTESİYazılım Mühendisliği Ana Bilim Dalı
DR. İBRAHİM FURKAN İNCE
PROF. ONUR OSMAN