Agile flight in dynamic environments: Bridging reinforcement and imitation learning
Dinamik ortamlarda çevik uçuş: Taklit ve pekiştirmeli öğrenme ile navigasyon
- Tez No: 895694
- Danışmanlar: DR. ÖĞR. ÜYESİ ÖZGÜR ERKENT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 68
Özet
In recent years, the utilization of drones has seen a remarkable increase across various sectors, including surveillance, delivery services, and environmental monitoring. This surge is largely attributed to advancements in drone technology, making them more accessible and versatile. Among the capabilities that distinguish drones, agile flight emerges as a paramount feature, enabling drones to navigate complex environments with precision and efficiency. However, achieving agile flight in dynamic environments presents significant challenges, particularly in terms of rapid trajectory re-planning and computational demands. This thesis proposes a novel approach to agile drone navigation by integrating Reinforcement Learning (RL) and Imitation Learning (IL). The methodology includes training a state-based teacher policy using the Proximal Policy Optimization (PPO) algorithm, which has access to comprehensive environmental information, including obstacle velocities. Subsequently, a student policy is trained through Behavioral Cloning (BC) to navigate without direct velocity information, relying instead on recurrent neural network architectures to infer this data. Experimental results demonstrate that the proposed method significantly enhances the agility and efficiency of drones in dynamic environments. The combination of RL and IL techniques not only reduces the computational burden but also shortens the training time, facilitating quicker adaptation and improved performance. The findings of this study contribute to advancing autonomous drone technology, offering a robust solution for navigating through cluttered and unpredictable environments. The project can be found in this link: \href{https://github.com/Ag05ccc/agile_flight}{https://github.com/Ag05ccc/agile\_flight}
Özet (Çeviri)
Son yıllarda, dronların kullanımı çeşitli sektörlerde, özellikle gözetim, teslimat hizmetleri ve çevre izleme alanlarında dikkate değer bir artış göstermiştir. Bu artış, drone teknolojisindeki ilerlemelere, dronların daha erişilebilir ve çok yönlü hale gelmesine büyük ölçüde atfedilmektedir. Dronları ayıran yetenekler arasında, çevik uçuş öne çıkarak dronların karmaşık ortamlarda hassasiyet ve verimlilikle gezinmelerini sağlamaktadır. Ancak, dinamik ortamlarda çevik uçuş elde etmek, özellikle hızlı rota yeniden planlama ve hesaplama gereksinimleri açısından önemli zorluklar sunmaktadır. Bu tez, Takviyeli Öğrenme (RL) ve Taklit Öğrenme'yi (IL) entegre ederek çevik drone navigasyonu için yeni bir yaklaşım önermektedir. Metodoloji, engel hızları da dahil olmak üzere kapsamlı çevresel bilgilere erişimi olan Proximal Policy Optimization (PPO) algoritması kullanılarak duruma dayalı bir öğretmen politikası eğitmeyi içermektedir. Daha sonra, doğrudan hız bilgisi olmadan gezinecek olan öğrenci politikası, bu veriyi çıkarmak için tekrarlı sinir ağı mimarilerine dayanarak Davranış Klonlama (BC) yoluyla eğitilmektedir. Deneysel sonuçlar, önerilen metodun dinamik ortamlarda dronların çevikliğini ve verimliliğini önemli ölçüde artırdığını göstermektedir. RL ve IL tekniklerinin kombinasyonu, hesaplama yükünü azaltmanın yanı sıra eğitim süresini kısaltarak daha hızlı uyum ve gelişmiş performans sağlamaktadır. Bu çalışmanın bulguları, dağınık ve öngörülemeyen ortamlarda gezinmek için sağlam bir çözüm sunarak otonom drone teknolojisinin ilerlemesine katkıda bulunmaktadır. Project bu linkte bulunabilir: \href{https://github.com/Ag05ccc/agile_flight}{https://github.com/Ag05ccc/agile\_flight}
Benzer Tezler
- Yörüngede doğrusallaştırılmış kontrol metodunun füzeye uygulanması ve klasik lineer kontrol yöntemleri ile kıyaslanması
Application of trajectory linearization controller on rocket and comparison with classical control methods
EMRE KELEŞ
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- Incremental nonlinear dynamic inversion based trajectory tracking controller for an agile quadrotor
Çevik bir döner kanat hava aracı artımlı doğrusal olmayan dinamik ters çevirme tabanlı yörünge izleme denetleyicisi
EMRE SALDIRAN
Yüksek Lisans
İngilizce
2021
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RAMAZAN YENİÇERİ
- Differential flatness-based fuzzy controller design for aggressive maneuvering of quadcopters
Çok rotorlu hava araçlarının agresif manevra kontrolü için diferansiyel düzlük tabanlı bulanık kontrolör tasarımı
ÇAĞRI GÜZAY
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Experimental study on discrete vortex gust encountered by a flat plate at 45˚ wing sweep
45˚ ok açılı düz plaka kanadın girdap türü tekil sağanak karşılaşmasının deneysel incelenmesi
OZAN İBRAHİMAĞAOĞLU
Yüksek Lisans
İngilizce
2025
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. NURİYE LEMAN OKŞAN ÇETİNER YILDIRIM
- High angle of attack maneuvering and stabilization control of aircraft
Uçakların yüksek hücum açısında manevra ve stabilizasyon denetimi
ÖZGÜR ATEŞOĞLU
Doktora
İngilizce
2007
Havacılık MühendisliğiOrta Doğu Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. M. KEMAL ÖZGÖREN