Pekiştirmeli öğrenme yöntemleri ile iha baz istasyonu için veri iletim hızı tabanlı optimal güzergah belirlenmesi
Data transmission rate based optimal trajectory determination for uav base station using reinforcement learning methods
- Tez No: 791838
- Danışmanlar: DR. ÖĞR. ÜYESİ ALİ MURAT DEMİRTAŞ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: TOBB Ekonomi ve Teknoloji Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 81
Özet
Bu çalışmada, kullanıcılara verilen hizmeti artırmak için İnsansız Hava Aracı (İHA) üzerine bağlı baz istasyonu (Bİ) ile optimal güzergâh planlaması yapılmıştır. Çalışma iki parçada incelenmiştir: İlk çalışmada İHABİ, 3-boyutta hareket kabiliyeti ile farklı hizmet kalitesi gereksinimlerine sahip hareketsiz kullanıcılara hizmet etmektedir. Güzergâh planlaması yapılırken İHABİ'nin kapsama alanı ve İHABİ ile statik yer baz istasyonu arasındaki ana ağa iletim kapasitesi sınırlandırılmıştır. Bu kısıtlamalar altında amaç, İHABİ için pekiştirmeli öğrenme (ing. Reinforcement Learning, RL) kullanılarak uçuş sırasında kullanıcılara sağlanan toplam veri hızını en üst düzeye çıkaran bir güzergâh bulmaktır. Problemimizde Q-Öğrenme (ing. Q-Learning, QL) uygulaması ile İHABİ, istenilen amaca ulaşmak için doğru aksiyonları almayı öğrenmektedir. Farklı öğrenme parametreleri ile deneme yanılma süreçleri sonucunda uygun parametreler belirlenmiş ve RL modeli bu parametrelerle eğitilmiştir. Kısıtlamaların etkilerini analiz etmek için farklı iletişim senaryoları karşılaştırılmıştır. Bahsedilen kısıtların ve heterojen hizmet kalitesi taleplerinin etkilerine göre İHABİ'nin güzergâh tercihleri ve toplam iletim hızı değişimleri incelenmiştir. Öne çıkan üç sonuç, kapsama, ana ağa iletim ve heterojen hizmet kalitesinin etkilerini göstermiştir. İHABİ, kapsama alanı kısıtlaması arttıkça irtifasını artırma eğilimindedir. Ayrıca, ana ağa iletim kısıtlaması, İHABİ'nin yörüngesini statik yer baz istasyonuna yaklaştırmaya zorlamaktadır. Son olarak İHABİ, kullanıcıların farklı hizmet kalitesi gereksinimlerini mümkün olduğunca dikkate almaktadır. İHABİ, bu kısıtlamaları karşılamak için en uygun güzergâhı belirleyerek toplam iletim hızını maksimize etmektedir. Çalışmanın ikinci kısmında İHABİ, sabit yükseklikte harekete ederek hareketli kullanıcılara hizmet sağlamaktadır. Kullanıcılar belirli bir örüntüyü takip ederek hareketini gerçekleştirmektedir. Bu koşullar altında İHABİ için minimumun maksimizasyonu ve maksimizasyon problemleri ele alınarak, ilgili problem için İHABİ'ye uygun güzergâh aranmaktadır. Problemimizde değişen ağ topolojisi sebebiyle Derin Q-Öğrenmesi (ing. Deep Q-Learning, DQN) algoritmasından yararlanılmıştır. Simülasyon sonuçları, minimumun maksimizasyonu probleminde İHABİ'nin kullanıcılara olan mesafesini dengeleyerek adil bir hizmet sağlamaya çalıştığını, maksimizasyon probleminde ise İHABİ'nin kullanıcıların fazla olduğu yerlere uğrayarak toplam hizmet miktarını maksimize etmeye çalıştığını göstermektedir.
Özet (Çeviri)
In this study, optimal trajectory planning is made with the base station (BS) connected to the Unmanned Aerial Vehicle (UAV) in order to increase the service provided to the users. The study is analyzed in two parts: In the first part of the study, UAV-BS serves immobile users with different quality of service (QoS) requirements with its 3-dimensional mobility. While planning the trajectory, the coverage area of UAV-BS and the backhaul capacity between UAV-BS and the Ground Base Station (GBS) are limited. Under these constraints, the goal is to find a trajectory for the UAV-BS that maximizes the total data rate available to users during the flight using reinforcement learning. UAV-BS learns to take the right actions to achieve the desired goal using Q-Learning algorithm in our problem. As a result of trial and error processes with different learning parameters, appropriate parameters are determined and the reinforcement learning model is trained with these parameters. Different communication scenarios are compared to analyze the effects of constraints. Trajectory preferences and total transmission rate changes of UAV-BS are examined according to the effects of the mentioned constraints and heterogeneous QoS demands. Three prominent results demonstrate the effects of coverage, backhaul, and heterogeneous QoS. The UAV-BS tends to increase in altitude as the coverage increases. In addition, the backhaul constraint forces the trajectory of the UAV-BS to approach the GBS. Finally, UAV-BS takes into account the different QoS requirements of users as much as possible. UAV-BS maximizes the total transmission rate by determining the most suitable trajectory to meet these constraints. In the second part of the study, UAV-BS provides services to mobile users by moving at a fixed altitude. Users perform their movement by following a certain pattern. Under these conditions, the maximization of the minimum and maximization problems for UAV-BS are handled, and a suitable trajectory for UAV-BS is sought for the related problem. Deep Q-Learning algorithm is used in our problem due to the changing network topology. The simulation results show that in the maximizing of minimum problem, UAV-BS tries to provide a fair service by balancing its distance to the users, and in the maximization problem, UAV-BS tries to maximize the total amount of service by visiting the places where the number of users are high.
Benzer Tezler
- Quadcopter trajectory tracking control using reinforcement learning
Pekiştirmeli öğrenme ile quadcopter yörünge takibi kontrolü
MUSTAFA ERDEM
Yüksek Lisans
İngilizce
2019
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- Engellerden kaçınan ve çoklu hedef takib sistemi gerçekleştirebilen akıllı sürü İHA navigasyonu
Intelligent swarm UAV navigation system with obstacles avoidance and multi-target tracking capability
ELEBAID KHALID ELSAYED BAKHIT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ÖZEK
- Optimizing rotary-wing UAV trajectory tracking: A comparative study of optimization methods
Döner kanatlı İHA yörünge takibinin optimize edilmesi: Optimizasyon yöntemlerinin karşılaştırmalı bir çalışması
AHMET SABAH
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BAYEZİT
- İnsansız hava araçlarında kolektif zeka uygulaması
Collective intelligence application in unmanned air vehicles
FATİH AYDEMİR
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN ÇETİN
- Derin pekiştirmeli öğrenme yöntemleri ile PI ve PID kontrolcü performansının iyileştirilmesi
Improving PI and PID controller performance with deep reinforcement learni̇ng methods
SEVİLAY TÜFENKÇİ KABAK
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CELALEDDİN YEROĞLU
DOÇ. DR. GÜRKAN KAVURAN