A comparative study of deep reinforcement learning methods and conventional controllers for aerial manipulation
Derin pekiştirmeli öğrenme yöntemleri ve geleneksel kontrolcülerin havasal manipulasyon için karşılaştırmalı çalışması
- Tez No: 659400
- Danışmanlar: DOÇ. SİNAN KALKAN, PROF. DR. AFŞAR SARANLI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 87
Özet
İnsansız hava araçlarıyla havadan manipülasyon, birçok uygulamada giderek bir zorunluluk haline geliyor. Bu tezde, bir alma ve yerleştirme işlemi için kullanılan, çift rotorlu bir hava manipülatörü için kontrolcü yaklaşımlarını analiz ediyoruz. Hava manipülatörünün klasik bir kontolcü ile minimum anlık yörünge oluşturma algoritmasını, Derin Güçlendirme aktör-kritik algoritmalarıyla karşılaştırıyoruz. Ayrıca, Derin Pekiştirmeli Öğrenme yaklaşımları için manipülatörün serbestlik derecelerinin etkilerini inceliyor ve hava manipülatörünün taşıması gereken nesnenin hedef konumunun değişiminin öğrenme yaklaşımlarının eğitimini nasıl etkilediğini analiz ediyoruz. Dahası, öğrenme yaklaşımları için daha hızlı bir yakınsama elde etmek için, hava manipülatörünün taşıması gereken nesne ile başladığı bilgilendirici durumlar ekledik. Hava manipülasyonu için 2D simülasyon ortamına ilişkin sonuçlarımız, tüm aktör-eleştirmen algoritmalarının değerli sonuçlar verdiğini ama politika dışı algoritmaların daha örnek verimli olduğunu gösterdi. Ancak bu algoritmaların hala bazı durumlarda görevin başarısızlığına neden olan kararlılık sorunları vardır. Öte yandan klasik kontrolcü yaklaşımında bu sorun yoktur, ancak Derin Pekiştirmeli Öğrenme yaklaşımlarına göre görevi daha yavaş bitirir.
Özet (Çeviri)
Aerial manipulation with unmanned aerial vehicles is increasingly becoming a necessity in many applications. In this thesis, we analyze the controller approaches for a bi-rotor aerial manipulator for a pick and place operation. First of all, we compare a classical control approach with a minimum snap trajectory generation and Deep Reinforcement actor-critic algorithms for the control of the aerial manipulator. Furthermore, we examine the effects of degrees of freedom of the manipulator for the Deep Reinforcement Learning approaches and analyze how the change of goal position of the object that the aerial manipulator needs to carry affects the training of the learning approaches. Moreover, to obtain a faster convergence for the learning approaches we have added informative states in which the aerial manipulator starts with the object it needs to carry is already grasped. Our results of the 2D simulation environment for the aerial manipulation suggest that all of the actor-critic algorithms yield valuable results with off-policy algorithms being more sample efficient. Still, these algorithms have stability issues that fail in the task for some cases. On the other hand, the classical controller approach does not have this problem but finishes the task slower than the Deep Reinforcement Learning approaches.
Benzer Tezler
- Short term electricity load forecasting with deep learning
Derin öğrenme ile kısa dönemli elektrik yük talep tahmini
İBRAHİM YAZICI
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA
- Makine öğrenmesi tabanlı iç ortam sıcaklık kontrolü için bir simülatör yazılımı tasarımı
Design of a simulator software for machine learning-based indoor temperature control
AYDIN BOSTANCI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
- Multi agent planning under uncertainty using deep Q-networks
Derin Q-ağları kullanımı ile belirsizlik altında çoklu ajan planlaması
FARABİ AHMED TARHAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- A novel artificial intelligence based energy management system for microgrids
Mikro şebekeler için yapay zeka temelli yeni bir enerji yönetim sistemi
NECATİ AKSOY
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. VEYSEL MURAT İSTEMİHAN GENÇ
- A comparative study of nonlinear model predictive control and reinforcement learning for path tracking
Yol izleme için doğrusal olmayan model öngörülü kontrol ve pekiştirmeli öğrenmenin karşılaştırmalı çalışması
GAMZE TÜRKMEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. OVSANNA SETA ESTRADA