Performance of ai algorithms for reliable UAV swarm communications under different jamming
Farkli sinyal kariştirmalari altinda güvenilir iha sürü haberleşmesi için yapay zeka algoritmalarinin performansi
- Tez No: 958796
- Danışmanlar: PROF. DR. HASARİ ÇELEBİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 125
Özet
Bu tez çalışmasında, insansız hava aracı (İHA) sürülerinin dinamik ve tehdit içeren ortamlarda güvenilir ve verimli haberleşmesini sağlamak amacıyla, derin pekiştirmeli öğrenme (DPL) tabanlı anti-jamming yaklaşımları geliştirilmiş ve çok boyutlu simülasyon senaryolarında sistematik olarak değerlendirilmiştir. Çalışmada üç aşamalı deneysel bir yapı izlenmiştir. İlk aşamada, basit bir çevre modeli altında tek kanal ve adaptif jammer tehdidi kullanılarak ajanların temel tepkileri incelenmiştir. İkinci aşamada, çevresel karmaşıklık artırılarak aksiyon ve gözlem uzayı genişletilmiş; kanal başına ayrı jammer gücü, TTL tabanlı yeniden iletim, çok boyutlu aksiyonlar ve gelişmiş log mekanizmaları sisteme dahil edilmiştir. Üçüncü ve son deneyde ise TD3, SAC, DDPG, SingleAgentTD3, SAR ve Random olmak üzere altı farklı algoritma; adaptive, comb, sweeping, dynamic, smart ve random olmak üzere altı farklı jammer tipine karşı kapsamlı bir benchmark ortamında karşılaştırılmıştır. Çalışmada, özellikle sürekli aksiyon uzayı gerektiren kanal seçimi, güç kontrolü, relay stratejisi ve hedef belirleme gibi kararların aynı anda optimize edilebildiği gelişmiş pekiştirmeli öğrenme mimarileri yapılandırılmıştır. Elde edilen bulgulara göre, TD3 algoritması çift değerleme yapısı sayesinde en istikrarlı ve yüksek performanslı sonuçları üretmiştir. SingleAgentTD3, merkezi olmayan senaryolarda önemli başarılar elde ederken; SAC belirli jammer tiplerine karşı tutarlı davranış sergilemiştir. DDPG ise hızlı öğrenmesine rağmen değerlendirme istikrarında sorunlar yaşamıştır. SAR ajanı, düşük karmaşıklıklı ortamlarda etkili bir referans ajan olarak öne çıkarken; Random ajan yalnızca karşılaştırma amacıyla kullanılmıştır. Ayrıca çalışma kapsamında hem merkezi hem merkezi olmayan mimariler değerlendirilmiş; farklı jammer stratejilerine karşı ajanların enerji verimliliği, adalet, başarı oranı ve throughput gibi metriklerdeki performansları karşılaştırılmıştır. Sonuçlar incelendiğinde, TD3 algoritmasının ortalama 4950 throughput, %5'lik düşük bir paket kaybı oranı ve dengeli enerji kullanımı ile genel olarak en başarılı performansı sergilediği görülmektedir. Öğrenme yeteneği bulunmayan SAR algoritması ise özellikle sabit ortamlarda 5000'e ulaşan throughput değeri ve sıfıra yakın paket kaybı ile dikkat çekmiştir. SingleAgentTD3 algoritması, smart jammer senaryosunda %3'lük drop rate ile en iyi iletim başarısını göstermiş olsa da, yüksek critic loss değerleri nedeniyle zaman zaman kararsız davranışlar sergilemiştir. DDPG ve SAC algoritmaları ise özellikle dinamik jammer türleri karşısında istikrarsız sonuçlar üretmiştir. Öte yandan, random algoritması yaklaşık 1300 throughput ve %60'ın üzerinde drop rate ile en düşük başarıyı göstermiş; bu da öğrenmeye dayalı yöntemlerin ne denli gerekli olduğunu açık bir şekilde ortaya koymuştur. Sonuç olarak, çalışma hem akademik hem de pratik uygulamalar açısından, çok boyutlu karar verme yeteneğine sahip, esnek ve öğrenen UAV sistemlerinin geliştirilmesine katkı sağlayan yenilikçi bir temel sunmaktadır.
Özet (Çeviri)
In this thesis, deep reinforcement learning based anti-jamming approaches have been developed and systematically evaluated in multidimensional simulation scenarios to ensure reliable and efficient communication of unmanned aerial vehicle (UAV) swarms in dynamic and threat-laden environments. In the study, a three-stage experimental structure was followed. In the first stage, the basic responses of the agents are analysed under the threat of an adaptive jammer, one of the six jammer types used in the experiments, in a simple environmental model where communication is over a single channel. In the second phase, environmental complexity was increased, expanding the action and observation space; separate jammer power per channel, TTL-based retransmission, multidimensional actions, and advanced log mechanisms were incorporated into the system. In the third and final experiment, six different algorithms—TD3, SAC, DDPG, SingleAgentTD3, SAR, and Random—were compared in a comprehensive benchmark environment against six different types of jammers: adaptive, comb, sweeping, dynamic, smart, and random. In the study, advanced reinforcement learning architectures were configured, particularly for decisions such as channel selection, power control, relay strategy, and target determination, which require continuous action space and can be optimized simultaneously. AccordinJg to the findings, the TD3 algorithm produced the most stable and high-performance results thanks to its double value structure. SingleAgentTD3 achieved significant success in decentralized scenarios, while SAC exhibited consistent behavior against certain types of jammers. DDPG, despite its rapid learning, has experienced issues with evaluation stability. The SAR agent stands out as an effective reference agent in low-complexity environments, while the Random agent has been used solely for comparison purposes. Additionally, both centralized and decentralized architectures were evaluated within the scope of the study; the performance of agents in terms of metrics such as energy efficiency, fairness, success rate, and throughput against different jammer strategies was compared. When the results are analysed, it is seen that TD3 algorithm has the best performance in general with an average throughput of 4950, a low packet loss rate of 5% and balanced energy usage. The SAR algorithm, which does not have learning capability, attracted attention with a throughput value of 5000 and near-zero packet loss, especially in stationary environments. Although the SingleAgentTD3 algorithm showed the best transmission success with a drop rate of 3% in the smart jammer scenario, it exhibited unstable behaviour from time to time due to high critic loss values. DDPG and SAC algorithms produced unstable results especially against dynamic jammers. On the other hand, the random algorithm showed the lowest success with a throughput of about 1300 and a drop rate of over 60%, which clearly demonstrates the necessity of learning-based methods.In conclusion, the study provides an innovative foundation that contributes to the development of flexible and learning UAV systems with multidimensional decision-making capabilities, both in academic and practical applications.
Benzer Tezler
- The performance evaluation of ai based resource allocation algorithms for donwlink NOMA systems
Aşağı yönlü NOMA sistemlerinde yapay zeka tabanlı kaynak tahsis algoritmalarının performans analizi
EDA KURT KARAKUŞ
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN
- Otomotiv sektöründe parça kontrolü için yapay zekâ destekli yazılım geliştirilmesi
Development of ai-supported software for part inspection in the automotive industry
ONUR ARDIÇ
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKÇEN ÇETİNEL
- Sosyal mühendislikte komplo tabanlı içeriklerin yapay zekâ ile analizi
Analysis of conspiracy-based content in social engineering with artificial intelligence
EMEL KOÇYİĞİT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH ÇALLI
- Forecasting of produced output electricity in photovoltaic power plants
Foto-voltaik güç santrallarında elektrik üretim tahmini
TARANEH SAADATI
Doktora
İngilizce
2025
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
DOÇ. DR. BURAK BARUTÇU
- Development of operation and maintenance strategies for offshore wind industry based on big data management
Büyük veri yönetimi ile açık deniz rüzgar endüstrisinde işletme ve bakım stratejilerinin geliştirilmesi
UWE LUETZEN
Doktora
İngilizce
2024
Enerjiİstanbul Teknik ÜniversitesiGemi ve Deniz Teknoloji Mühendisliği Ana Bilim Dalı
PROF. DR. SERDAR BEJİ