Safe multi-agent UAV flight planning for 6G-enabled internet of things (IoT) networks using deep reinforcement learning
Derin pekiştirmeli öğrenme kullanarak 6G destekli nesnelerin interneti (IoT) ağları için güvenli çok etmenli İHA uçuş planlaması
- Tez No: 992747
- Danışmanlar: DR. ÖĞR. ÜYESİ DAVOOD ASADI
- Tez Türü: Yüksek Lisans
- Konular: Havacılık ve Uzay Mühendisliği, Aeronautical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Adana Alparslan Türkeş Bilim ve Teknoloji Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Havacılık ve Uzay Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, 6G destekli Yeşil Nesnelerin İnterneti (IoT) ortamlarında insansız hava araçları (İHA'lar) için konuşlandırmaya yönelik otonomiyi incelemektedir. Hareketlilik kararları; dinamik ve kısmen gözlemlenebilir koşullar altında çarpışmadan kaçınma, kinematik olarak uygulanabilirlik, enerji sürdürülebilirliği ve bağlantı/süreklilik gereksinimlerini eşzamanlı olarak karşılamalıdır. Görevler Markov karar süreçleri olarak modellenmiş ve dört derin pekiştirmeli öğrenme çerçevesi kullanılarak çözülmüştür: (1) düzgün, eğrilik-sınırlı ve uçuşa elverişli yörüngeler üretmek için kinematik optimizasyon (KinOpt) ile birleştirilmiş Proximal Policy Optimization (PPO); (2) hareketli tehlikeler ve Eşzamanlı Kablosuz Bilgi ve Güç Transferi (SWIPT) esinli enerji yenileme ile akıllı tarım için merkeziyetsiz çok-etmenli PPO; (3) hareketliliği, aktarma/şarj davranışını ve bağlantıyı birlikte optimize eden Yeniden Yapılandırılabilir Akıllı Yüzey (RIS) destekli çok-etmenli Soft Actor–Critic (MASAC); ve (4) 2B kıyaslamalar ile 3B Işık Algılama ve Mesafe Ölçümü (LiDAR) ortamında değerlendirilen, risk-duyarlı eylem seçimi ve bir güvenlik kalkanı içeren Topluluk (Ensemble) Dağılımsal Düello Çift Derin Q-Ağı (ED3QN). Önerilen çok-etmenli PPO, ortalama ödülü 1026.33 (temel yöntem: 710.00) ve 34.84 ms hesaplama süresi ile %100 başarı elde etmiştir. RIS destekli ağ senaryosunda MASAC; 1.00 ± 0.00 başarı, 341.67 ± 8.32 nihai batarya, 80.00 ± 4.21 hasat edilen enerji, 0.6291 ± 0.013 bağlantı oranı ve 650.33 ± 11.6 toplam ödüle ulaşarak MADDPG'ye göre üstün performans göstermiştir (p < 0.05). ED3QN, beş ortamın tamamında sıfır çarpışma ile %100 başarı ve 1.010–1.067 yol-verimliliği sağlarken, PPO+KinOpt yörünge uzunluğunu 54.000 m'den 34.463 m'ye ve düzgünlük maliyetini 87.967'den 2.107 rad'a düşürmüştür. Genel olarak, uygulanabilirlik ve sürdürülebilirliğin açık biçimde modellenmesi, 6G hava ağları ve enerji kısıtlı IoT görevleri için daha konuşlandırılabilir İHA davranışları üretmektedir.
Özet (Çeviri)
This thesis investigates deployment-oriented autonomy for unmanned aerial vehicles (UAVs) in 6G-enabled Green Internet of Things (IoT) environments. Mobility decisions must jointly address collision avoidance, kinematic executability, energy sustainability, and connectivity under dynamic and partially observable conditions. The tasks are formulated as Markov decision processes and solved using four deep reinforcement learning frameworks: (1) proximal policy optimization (PPO) with kinematic optimization (KinOpt) for smooth, curvature-bounded, flight-feasible trajectories; (2) decentralized multi-agent PPO for smart agriculture with moving hazards and Simultaneous Wireless Information and Power Transfer (SWIPT)-inspired replenishment; (3) Reconfigurable Intelligent Surface (RIS)-supported multi-agent soft actor–critic (MASAC) jointly optimizing mobility, relay/recharge behavior, and connectivity; and (4) an Ensemble Distributional Dueling Double Deep Q-Network (ED3QN) with risk-aware action selection and a safety shield, evaluated in 2D benchmarks and a 3D Light Detection and Ranging (LiDAR) setting. The proposed multi-agent PPO achieves 100% success with an average reward of 1026.33 (baseline: 710.00) and a computation time of 34.84 ms. In RIS-assisted networking, MASAC attains 1.00 ± 0.00 success, 341.67 ± 8.32 final battery, 80.00 ± 4.21 harvested energy, 0.6291 ± 0.013 connectivity ratio, and 650.33 ± 11.6 total reward, outperforming MADDPG (p < 0.05). ED3QN achieves 100% success with zero collisions and path-efficiency 1.010–1.067, while PPO+KinOpt reduces trajectory length from 54.000 m to 34.463 m and smoothness cost from 87.967 to 2.107 rad. Overall, explicit feasibility and sustainability modeling yield more deployable UAV behavior for 6G aerial networking and energy-constrained IoT missions.
Benzer Tezler
- Engellerden kaçınan ve çoklu hedef takib sistemi gerçekleştirebilen akıllı sürü İHA navigasyonu
Intelligent swarm UAV navigation system with obstacles avoidance and multi-target tracking capability
ELEBAID KHALID ELSAYED BAKHIT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ÖZEK
- Mobılıty control of uavbs networks for ınterference mıtıgatıon and collısıon avoıdance ın 5G and beyond
5G ve ötesi için girişim azaltma ve çarpışma önleme amaçlı uavbs ağlarının hareket kontrolü
OMAR ALI THABET THABET
Doktora
İngilizce
2025
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET SERDAR UFUK TÜRELİ
DR. ÖĞR. ÜYESİ DİDEM KIVANÇ TÜRELİ
- Multi-model multi-agent defense against LLM jailbreak attacks
Büyük dil modellerine yönelik jailbreak saldirilarina karşi çok modelli çok ajanli sistemler ile savunma
ARJEN AYKAN KILIÇ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
PROF. DR. FATİH ALAGÖZ
- LLM based code generation and code integration with multi agent systems
Büyük dil modeli tabanlı kod üretimi ve çoklu ajan sistemleri ile kod entegrasyonu
YASİN BÜZGÜLÜ
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medipol ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SELİM AKYOKUŞ
DR. SALİH SARP
- Deep reınforcement learnıng based hybrıd goalassıgned multı agent path plannıng ın dynamıcenvıronments
Dinamik ortamlarda derin pekiştirmeli öğrenme tabanlıhibrit hedef atamalı çok ajanlı yol planlama
BARIŞ ALMAÇ
Yüksek Lisans
İngilizce
2025
Mühendislik BilimleriSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ÜNEL