Multi-UAV path planning for joint coverage and connectivity using reinforcement learning
Pekiştirmeli öğrenme kullanarak eşzamanli alan tarama ve bağlanirlik i̇çin çok iha'li rota planlamasi
- Tez No: 929094
- Danışmanlar: DOÇ. EVŞEN YANMAZ ADAM
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
Bu tezde, aralarında klasik optimizasyon ve gelişmiş pekiştirmeli öğrenme tekniklerinin de olduğu farklı çoklu İnsansız Hava Aracı (İHA) rota planlama yöntemleri önerilmektedir. Buna yönelik olarak çoklu İHA sistemlerindeki iki ana zorluğa odaklanılmaktadır: Gerçek zamanlı adaptasyon ihtiyacı ve birbiriyle çelişen görev amaçları arasında bir denge kurma gerekliliği. İlk olarak, kapsama süresi ve ağ bağlantısını eş zamanlı değerlendiren yenilikçi bir çok amaçlı optimizasyon sistemi geliştirilmiştir. Bu sistem, farklı görev hedefleri arasındaki ilişkileri matematiksel olarak anlamlandırarak, geniş bir Pareto-optimal çözüm kümesi sunmaktadır. Daha sonra, bu bulgular üzerine, İHAların değişen görev gereksi-nimlerine göre davranışlarını uyarlamalarına imkan tanıyan, Derin Q-Ağları tabanlı dinamik bir pekiştirmeli öğrenme sistemi önerilmiş ve bu sistemin, hedef tespit sürelerinde geleneksel yöntemlere kıyasla iyileşme sağladığı gözlemlenmiştir. Son olarak, farklı bilgi önceliklerine sahip çoklu hedefleri etkili bir şekilde takip edebilen gelişmiş bir Yaklaşık Politika Optimizasyonu sistemi önerilmiştir. Bu sistem, alan taraması oranı, İHA-Yer Kontrol İstasyonu bağlantısı ve hedefe özgü gereksinimleri bütünleştiren dinamik bir ödül mekanizması içermektedir. Performans sonuçları, önerilen bu sistemin 20 İHAya kadar takımlara ölçeklenebilip farklı hedef türlerine uyum sağlayabilirken, hesaplama süresi açısından verimliliğini koruduğunu göstermektedir. Klasik optimizasyondan başlayıp temel pekiştirmeli öğrenmeye geçerek gelişmiş adaptif sistemlere doğru tezde kaydedilen bu ilerlemenin, çoklu İHA sistemlerinin teknik kabiliyetlerini geliştirmekle kalmayıp, aynı zamanda alandaki araştırmacılar ve uygulayıcılar için de faydalı uygulama yöntemleri sağlayacağı öngörülmektedir.
Özet (Çeviri)
This thesis presents a multi-objective optimization (MOO) framework in multi-Unmanned Aerial Vehicle (UAV) path planning, transitioning from classical optimization methods to advanced reinforcement learning techniques. We address two main challenges in multi-UAV systems: the need for real-time adaptability and the balance between competing mission objectives. First, we develop a new multi-objective optimization framework that simultaneously considers coverage time and network connectivity. This framework provides a diverse set of Pareto-optimal solutions, highlighting meaningful trade-offs between different mission goals. Building on these findings, we introduce a dynamic reinforcement learning system using Deep Q-Networks that allows UAVs to adjust their behavior according to changing mission requirements. This system demonstrates improvement in target detection times. Finally, we present an advanced Proximal Policy Optimization framework that effectively manages heterogeneous targets with varying information priorities. This framework includes a dynamic reward mechanism that integrates area exploration, UAV-Ground Control Station (GCS) connectivity, and target-specific requirements. Our experimental results show that the proposed framework remains computationally efficient while scaling to larger teams of up to 20 UAVs and adapting to different target configurations. The progression from static optimization through basic reinforcement learning to advanced adaptive systems not only enhances the technical capabilities of multi-UAV systems but also offers valuable implementation insights for researchers and practitioners in the field.
Benzer Tezler
- İmmun plazma algoritması ile insansız hava araçları için sabit irtifa güzergah planlama probleminin çözülmesi
Solving fixed altitude route planning problem for unmanned aerial vehicles with immune plasma algorithm
TEVFİK ERKİN
Yüksek Lisans
Türkçe
2023
Uçak MühendisliğiErciyes ÜniversitesiUçak Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELÇUK ASLAN
- Network provisioning using multiple UAVs in search and rescue missions
Arama ve kurtarma görevlerinde çoklu İHA kullanarak ağ sağlama
ATEFEH MOLAEI BIRGANI
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik MühendisliğiÖzyeğin ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EVŞEN YANMAZ ADAM
- Metasezgisel optimizasyon algoritmaları kullanarak çok rotorlu insansız hava aracı ile faydalı yük al bırak görevi için rota planlama
Path planning for payload pick-drop mission with multi-rotor unmanned aerial vehicle using metaheuristic optimization algorithms
EGEMEN BELGE
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiZonguldak Bülent Ecevit ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. RIFAT HACIOĞLU
- 3 boyutlu arazi üzerinde çoklu otonom insansız hava aracı rota planlaması
Autonomous multi unmanned aerial vehicles path planning on 3 dimensional terrain
NURİ ÖZALP
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHava Harp Okulu KomutanlığıBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ÖZGÜR KORAY ŞAHİNGÖZ
- Search and rescue wıth multıple uavs: Target detectıon and connectıvıty
Çoklu iha'larla arama ve kurtarma: Hedef tespiti ve bağlantılılık
HAMID MAJIDI BALANJI
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. EVŞEN YANMAZ ADAM