Reinforcement learning based coaxial multicopter control for electrical vertical take off and landing
Pekiştirmeli öğrenme temelli elektrikli dikey kalkış ve iniş için eksendeş çoklu döner kanat kontrolü
- Tez No: 954656
- Danışmanlar: PROF. DR. UFUK SAKARYA
- Tez Türü: Yüksek Lisans
- Konular: Havacılık ve Uzay Mühendisliği, Sivil Havacılık, Uçak Mühendisliği, Aeronautical Engineering, Civil Aviation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Aviyonik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Aviyonik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 112
Özet
Bu tez, derin pekiştirmeli öğrenmenin (RL) elektrikli dikey kalkış ve iniş (eVTOL) senaryolarında koaksiyel multikopterlerin kontrolünde uygulanabilirliğini incelemekte olup, özellikle Yakın Politika Optimizasyonu (PPO) yöntemine odaklanmaktadır. Geleneksel oransal–integral–türev (PID) denetleyicileri, koaksiyel rotor sistemlerine özgü karmaşık aerodinamik etkileşimleri yönetmede sınırlılıklar göstermektedir. Bu zorluklara çözüm olarak, koaksiyel yapılandırmalara özel olarak uyarlanmış, değiştirilmiş bir Kanat Elemanı Momentum Teorisi (BEMT) modeli önerilmektedir. Geliştirilmiş aerodinamik model, deneysel itki ölçümleriyle +/-%10 doğrulukla doğrulanmış ve kapsamlı bir MATLAB/Simulink ortamına entegre edilmiştir. Sabit konum (hover) modunda kontrol performansı; açık çevrim (kontrolsüz), geleneksel PID ve PPO tabanlı RL olmak üzere üç farklı strateji altında değerlendirilmiştir. Simülasyon çerçevesi, gerçekçi fizik modellemesi, alan rastgeleleştirmesi (domain randomization) ve müfredat öğrenimi (curriculum learning) yöntemlerini içermekte olup, dayanıklı denetleyici gelişimini sağlamayı hedeflemektedir. Sonuçlar, PPO ile eğitilmiş RL ajanının, PID tabanlı sisteme kıyasla yaklaşık %30 daha hızlı denge sağladığını, +/-%10 yük değişimlerine %5'in altında aşım ile tolerans gösterdiğini ve dış etkilere karşı %13 enerji verimliliği sağladığını ortaya koymaktadır. RL denetleyicisi, 3 m/s'ye kadar rüzgâr darbelerinde kararlılığını koruyabilmekte ve değişen uçuş koşullarına etkin şekilde uyum sağlayabilmektedir. Bu çalışma ayrıca, GPS olmayan (GPS-denied) ortamlarda kullanılmak üzere multikopterlerin navigasyon sistemlerinde yapılacak yükseltmelerde %99.1'e varan maliyet azaltımı potansiyelini ($115.000'dan $1.000 altına) ve tüketici seviyesindeki donanım (NVIDIA RTX 2080 Ti) ile 10 saatin altında eğitim süresi elde edilebildiğini göstermektedir. Bu bulgular, RL tabanlı kontrolün ticari eVTOL platformları için uygulanabilirliğini desteklemekte ve otonom kentsel hava taşımacılığı sistemlerinin gelişimine katkı sunmaktadır.
Özet (Çeviri)
This dissertation investigates the application of deep reinforcement learning (RL) for controlling coaxial multicopters in electric vertical take-off and landing (eVTOL) scenarios, with a primary focus on Proximal Policy Optimization (PPO). Traditional proportional–integral–derivative (PID) controllers face limitations in handling the complex aerodynamic interference effects inherent to coaxial rotor systems. To address these challenges, we propose a modified Blade Element Momentum Theory (BEMT) model specifically tailored for coaxial configurations. The enhanced aerodynamic model, validated within +/-10% of experimental thrust measurements, is integrated into a comprehensive MATLAB/Simulink environment. Hover-mode performance is evaluated under three control strategies: open-loop (no control), conventional PID, and PPO-based RL. The simulation framework incorporates realistic physics modeling, domain randomization, and curriculum learning to ensure robust controller development. Results show that the PPO-trained RL agent stabilizes approximately 30% faster than the PID baseline, tolerates +/-10% payload variations with under 5% overshoot, and improves energy efficiency by 13% under external disturbances. The RL controller maintains stability in wind gusts up to 3 m/s and adapts effectively to changing flight conditions. This research further demonstrates a potential 99.1% reduction in navigation system costs when upgrading multicopters for GPS-denied environments—from \$115k to under $1k—and achieves training times below 10 hours using consumer-grade hardware (NVIDIA RTX 2080 Ti). These findings support the viability of RL-based control for commercial eVTOL platforms and contribute to the advancement of autonomous urban air mobility systems.
Benzer Tezler
- Reinforcement learning based energy management strategy for fuel cell hybrid vehicles
Hidrojen yakıt hücreli araçlar için pekiştirmeli öğrenmeli enerji kontrol stratejisi
ZEKERİYA ENDER EĞER
Yüksek Lisans
İngilizce
2022
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUĞÇE YÜKSEL BEDİZ
PROF. DR. SERHAT YEŞİLYURT
- Reinforcement learning based mobile robot navigation
Takviyeli öğrenme tabanlı gezgin robot navigasyonu
NİHAL ALTUNTAŞ
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFatih ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ERKAN İMAL
YRD. DOÇ. DR. NAHİT EMANET
- Otonom robotlar için pekiştirmeli öğrenme tabanlı dağıtık arıza teşhis sistemi
Reinforcement learning based distributed fault diagnosis system for autonomous robots
MAHMUT KASAP
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET YAZICI
DOÇ. DR. EYÜP ÇİNAR
- 5G ağlarında RAN dilimleme için pekiştirmeli öğrenme tabanlı uyarlanabilir erişim sınıfı engellemesi
Reinforcement learning based adaptive access class barring for RAN slicing in 5G networks
ALİ TURAN
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EBRU SEZER
DOÇ. DR. MEHMET KÖSEOĞLU
- Reinforcement learning based collision free path and motion planning algorithm for multi AGV systems
Çoklu AGV sistemleri için pekiştirmeli öğrenme tabanlı çarpışmasız yol ve hareket planlama algoritması
SEMİHA ERKOVAN
Yüksek Lisans
İngilizce
2024
Endüstri ve Endüstri MühendisliğiDokuz Eylül ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. GÖKALP YILDIZ