Geri Dön

A comparative study of deep reinforcement learning methods and conventional controllers for aerial manipulation

Derin pekiştirmeli öğrenme yöntemleri ve geleneksel kontrolcülerin havasal manipulasyon için karşılaştırmalı çalışması

  1. Tez No: 659400
  2. Yazar: KAZIM BURAK ÜNAL
  3. Danışmanlar: DOÇ. SİNAN KALKAN, PROF. DR. AFŞAR SARANLI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 87

Özet

İnsansız hava araçlarıyla havadan manipülasyon, birçok uygulamada giderek bir zorunluluk haline geliyor. Bu tezde, bir alma ve yerleştirme işlemi için kullanılan, çift rotorlu bir hava manipülatörü için kontrolcü yaklaşımlarını analiz ediyoruz. Hava manipülatörünün klasik bir kontolcü ile minimum anlık yörünge oluşturma algoritmasını, Derin Güçlendirme aktör-kritik algoritmalarıyla karşılaştırıyoruz. Ayrıca, Derin Pekiştirmeli Öğrenme yaklaşımları için manipülatörün serbestlik derecelerinin etkilerini inceliyor ve hava manipülatörünün taşıması gereken nesnenin hedef konumunun değişiminin öğrenme yaklaşımlarının eğitimini nasıl etkilediğini analiz ediyoruz. Dahası, öğrenme yaklaşımları için daha hızlı bir yakınsama elde etmek için, hava manipülatörünün taşıması gereken nesne ile başladığı bilgilendirici durumlar ekledik. Hava manipülasyonu için 2D simülasyon ortamına ilişkin sonuçlarımız, tüm aktör-eleştirmen algoritmalarının değerli sonuçlar verdiğini ama politika dışı algoritmaların daha örnek verimli olduğunu gösterdi. Ancak bu algoritmaların hala bazı durumlarda görevin başarısızlığına neden olan kararlılık sorunları vardır. Öte yandan klasik kontrolcü yaklaşımında bu sorun yoktur, ancak Derin Pekiştirmeli Öğrenme yaklaşımlarına göre görevi daha yavaş bitirir.

Özet (Çeviri)

Aerial manipulation with unmanned aerial vehicles is increasingly becoming a necessity in many applications. In this thesis, we analyze the controller approaches for a bi-rotor aerial manipulator for a pick and place operation. First of all, we compare a classical control approach with a minimum snap trajectory generation and Deep Reinforcement actor-critic algorithms for the control of the aerial manipulator. Furthermore, we examine the effects of degrees of freedom of the manipulator for the Deep Reinforcement Learning approaches and analyze how the change of goal position of the object that the aerial manipulator needs to carry affects the training of the learning approaches. Moreover, to obtain a faster convergence for the learning approaches we have added informative states in which the aerial manipulator starts with the object it needs to carry is already grasped. Our results of the 2D simulation environment for the aerial manipulation suggest that all of the actor-critic algorithms yield valuable results with off-policy algorithms being more sample efficient. Still, these algorithms have stability issues that fail in the task for some cases. On the other hand, the classical controller approach does not have this problem but finishes the task slower than the Deep Reinforcement Learning approaches.

Benzer Tezler

  1. Short term electricity load forecasting with deep learning

    Derin öğrenme ile kısa dönemli elektrik yük talep tahmini

    İBRAHİM YAZICI

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA

  2. Makine öğrenmesi tabanlı iç ortam sıcaklık kontrolü için bir simülatör yazılımı tasarımı

    Design of a simulator software for machine learning-based indoor temperature control

    AYDIN BOSTANCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı

    PROF. DR. DEVRİM AKGÜN

  3. Multi agent planning under uncertainty using deep Q-networks

    Derin Q-ağları kullanımı ile belirsizlik altında çoklu ajan planlaması

    FARABİ AHMED TARHAN

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NAZIM KEMAL ÜRE

  4. A novel artificial intelligence based energy management system for microgrids

    Mikro şebekeler için yapay zeka temelli yeni bir enerji yönetim sistemi

    NECATİ AKSOY

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    PROF. DR. VEYSEL MURAT İSTEMİHAN GENÇ

  5. A comparative study of nonlinear model predictive control and reinforcement learning for path tracking

    Yol izleme için doğrusal olmayan model öngörülü kontrol ve pekiştirmeli öğrenmenin karşılaştırmalı çalışması

    GAMZE TÜRKMEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. OVSANNA SETA ESTRADA