Fighter pilot behavior cloning and transferring to another aircraft
Savaş pilotu davranışı klonlama ve farklı bir hava aracına transferi
- Tez No: 772812
- Danışmanlar: DOÇ. DR. NAZIM KEMAL ÜRE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Havacılık Mühendisliği, Computer Engineering and Computer Science and Control, Aeronautical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Otonom Sistemler Bilim Dalı
- Sayfa Sayısı: 74
Özet
Pilotun döngüye dahil olduğu (“Pilot-in-the-loop”) uçuş simülatörleri, savaş uçağı geliştirme sürecinin hayati bir parçasıdır. Yüksek güçlü bir savaş uçağının performans değerlendirmesinde üstün manevra kabiliyeti ve çeviklik giderek daha önemli hale gelmektedir. Bu performans ve emniyet hedeflerine ulaşmak için, uçuş simülatörleri gelecekteki uçak tasarımlarına ilişkin analizin ilk aşamalarından itibaren gerekli olacaktır. Yüksek doğruluklu uçuş simülatörleri, senaryoların ve algoritmaların, tam ölçekli insanlı hava aracı uçuş testiyle ilişkili riskler olmaksızın test edilebildiği kontrollü bir ortam sunar. Bununla birlikte, bu yeteneklerin analizi, uçağı kontrol etme yeteneklerini sınırlayan aşırı uçuş koşulları nedeniyle yüksek düzeyde pilot becerisi gerektirir. Ayrıca,modeli kalifiye pilotlar ile çoklu trim koşullarında farklı senaryoları test etmek için uçuş simülatöründe ayarlanamsı gereken zaman ve bunun yüksek maliyeti nedeniyle mümkün olmayabilir. Yetenekli pilotların demonstrasyonlarına, yani uçuş simülatörlerindeki çevik/akrobatik manevralarına bağımlılığı ortadan kaldırmak için, kalifiye savaş pilotlarının gerçekçi modellemesi çok büyük önem taşımaktadır. Geliştirilecek olan modelden beklenen temel sonuç, aynı uçak modeli için uzman bir pilotun gösterimleri ile uyumlu ve istenilen rotadan hafif sapmalara karşı dayanıklı bir yörünge üretmesidir. Problemin özellikleri düşünüldüğünde taklit öğrenme, yetenekli pilotların uçuş simülatörüne olan bağımlılık ihtiyacını ortadan kaldırmak için potansiyel bir çözümdür. Gösterilerden öğrenme olarak da bilinen taklit öğrenme, derin öğrenmenin getirdiği hesaplamalı ilerlemelerden ve gösteri verilerinin artan kullanılabilirliğinden yararlanmakatdır. Bu yöntem ile en temelde belirli bir görevde istenen davranışın taklit edilmesi amaçlanır. Tasarlanan model, gösterileri kullanarak gözlemler ve eylemler arasında eşleştirme yapmayı öğrenmek üzere eğitilir. Optimum performans elde etmek için, eğitim verilerinin çok çeşitli durum ve aksiyonları içermesi gerekmektedir. Bu ister uzman pilotlar tarafından gerçekleştirilen az sayıda manevra gösterimi ile sağlanamaz. Ancak yörünge, çeşitli trim koşullarında uzman manevralarının açısal hızları (P, Q, R) kullanılarak yeniden üretilebilir. Pilotun açısal hızlarının yüksek doğrulukta doğrusal olmayan 6-DOF F-16 model simülasyonlarında takip edilmesi için uzman pilot yerine NDI kontrolörcüsü kullanılmış ve istenilen uçuş zarfındaki trim noktalarında simülasyonlar tekrarlanmıştır. Bu veriler kullanılarak bir yapay bir sinir ağını, sensör durumları ve kontrol girdi değerleri arasındaki eşlemeyi öğrenerek uzman bir pilot gibi bir F-16'nın yörüngesini kontrol etmesi için eğiten bir denetimli öğrenme algoritması kullanılmıştır. Split-S veri seti incelendiğinde manevranın uygulanması sırasında kullanılan kontrol girişlerinde yön ve büyüklük açısından hızlı ve ani değişiklikler gözlenmiştir. Ayrıca zaman serilerinin sayısı, uzunluğu ve aralarındaki korelasyonun da yüksek olduğu görülmektedir. Kullanılacak yapay sinir ağı modeli, verilerin tüm bu özelliklerini ele alabilmelidir. Tüm bunlar göze alınarak literatür incelenmiş ve yapay sinir ağı modeli olarak LSTM otomatik kodlayıcı (autoencoder) yapısı kullanılmıştır. Davranış klonlama yöntemleri, uzman veya insan gösterici tarafından gösterilen davranış ile model tarafından öğrenilen ve tipik olarak bir kayıp fonksiyonu olarak ifade edilen politika arasındaki farkın bir ölçüsünü gerektirir. Eğitimler sırasında, gösterilen davranışı olabildiğince yakın benzerlikte çoğaltmak için en yaygın seçim olan MSE kayıp fonksiyonu kullanılmıştır. Simülasyon sonuçlarında eğitim sırasında model tarafından yapılan hataların kademeli olarak artarak kötü performansa yol açması nedeniyle tek başına davranış klonlamanın sorunlu olabileceği gösterilmektedir. Bunun nedeni, eğitim ve test veri setlerinin mutlaka aynı dağılımdan alınmaması ve bununda denetimli öğrenmede tipik olarak kullanılan bağımsız ve aynı şekilde dağıtılmış veri varsayımını ihlal etmesidir. Etkileşimli gösterilerle davranış klonlamanın avantajı, yalnızca uzman tarafından sağlanan gösteri örneklerine güvenmek yerine modelin kendi hatalarından ders almasına izin vermesidir. Bu, modeli daha esnek ve uyarlanabilir hale getirir ve yeni durumlara veya ortamlara daha iyi genelleme yapabilir. Literatürde bu bileşik hata sorununu çözmek için taklit öğrenmeyi etkileşimli denetimli öğrenmeye indirgeyen DAgger (Veri Toplama) adlı bir algoritma önerilmiştir. DAgger algoritması, bir uzman politikasından gelen girdiler ve çıktılarla etiketlenmiş yeni, değiştirilmiş eğitim verilerinin eklenmesini içeren bir veri toplama yöntemidir. Bu yaklaşımın amacı, ek uzman verileri dahil ederek bir NN modelinin performansını iyileştirmektir. Ancak bizim problemimizde eğitim için gerçekte ihtiyaç duyulan şey daha fazla veri değil, istenen yörüngedeki sapmalardan kurtulmayı öğrenebileceği kritik verilerdir. Ayrıca eğitim sırasında yanlış eylemlerin kullanılması, eğitim performansı üzerinde olumsuz sonuçlar doğurabilir. Bu tez kapsamında bu problemleri çözmek adına Limit-DAgger algoritması geliştirilmiştir. Bu algoritma ile ilkönce uzman bir pilotun dahi manevrayı düzeltemediği kritik $pqr$ hata değeri bulunur. Bu kritik hata değerine ulaşana kadar NN model çıktıları sisteme uygulanır. Bu kritik değer aşıldığında uzman tarafından düzeltici aksiyonlar sisteme uygulanarak manevra gerçekleştirilir. Her itarsyonda pqr hata değeri yeniden hesaplanarak veri toplanır. Simülasyon sonuçları ile doğrulandığı üzere bu metod ile 3 iterasyonda gerçek pilot performansına yakın bir NN modeli eğitilmiştir. Bir sonraki aşamada eğitilen modelin başka bir hava aracı modeline limitli veri ile transfer edilmesi üzerine çalışılmıştır. Transfer öğrenimi, sınırlı miktarda eğitim verimiz olduğunda yararlı olabilecek test verileriyle bağımsız ve aynı şekilde dağıtılamayan eğitim verilerini kullanmamıza olanak tanır. Bu, transfer öğrenmeyi yetersiz eğitim verileri sorununu ele almak için uygun bir yaklaşım haline getirir. Bu çalışmada yalnızca son LSTM katmanı ve çıkışındaki yoğun katman eğitime açılmış ve düşük öğrenme oranı ile eğitimler başarı ile gerçekleştirilmiştir. Özetle tez çalışmasında taklit öğrenme metodu kullanılarak, uçuş simülatöründeki tüm uçuş zarfı üzerinde uzman pilotların gösterilerinin yerini alabilen ve çevik manevraları otonom olarak gerçekleştirebilen bir pilot davranış modeli geliştirilmiştir. Ayrıca transfer öğrenme kullanılarak, belirli bir uçak tasarımı için bir model geliştirdikten sonra önceki modelleme sürecine göre daha az eforla farklı bir hava aracı modeline aktarılabilirlik sağlanmıştır. Tüm bu özelliklerin yanı sıra pilot davranış modeli, uçuş simülatöründe gerçek zamanlı olarak çalışabilecektir.
Özet (Çeviri)
The“Pilot-in-the-loop”flight simulators are important tools in the development of fighter aircraft because they allow engineers and designers to test different scenarios and algorithms in a controlled environment without the risks associated with actual flight testing. However, these simulations often require high pilot skill levels and can be time-consuming and costly to arrange. It is important to create realistic models of human fighter pilots in order to reduce the reliance on skilled pilots to demonstrate agile/aerobatic maneuvers in flight simulators. Traditional controllers for aircraft require detailed knowledge about the aerodynamic model and physics of the aircraft in order to perform aerobatic maneuvers. Also, these control algorithms may not be able to match the performance of skilled human pilots, who are limited by a lack of bandwidth. This suggests that there may be potential for improving the performance of aircraft through the use of techniques that can take advantage of the superior speed and maneuverability of skilled pilots. In that case, imitation learning is a potential solution to eliminate the dependency need of skillful pilots in the flight simulator. Imitation learning also known as learning from demonstrations has benefited from computational progresses brought on by deep learning and increased availability of demonstration data. It is aimed to emulate desired behavior in a given task. An agent is trained to learn mapping between observations and actions by utilizing demonstrations. In this thesis aims the development of a pilot behavior model which is capable of autonomously performing agile maneuvers and is able to replace expert pilots' demonstrations over its full flight envelope in the flight simulator. Moreover, this model is transferable to other aircraft with limited data using transfer learning techniques. Besides all these features, the pilot behavior model can be able to run in real time in the flight simulator.
Benzer Tezler
- Online loss of control prevention of an agile aircraft: Lyapunov-based dynamic command saturation approach
Çevik bir uçağın çevrimiçi kontrol kaybının önlenmesi: Lyapunov tabanlı dinamik komuta satürasyonu yaklaşımı
ÇAĞRI EGE ALTUNKAYA
Yüksek Lisans
İngilizce
2023
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. İBRAHİM OZKOL
- Hava aracı modeli ve uçuş kontrol sistemi tasarımı
Aircraft model and flight control system design
UMMAHAN KIRIZ ATAK
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET TURAN SÖYLEMEZ
- Development and experimental evaluation of an embodied cognitive model for piloting of air vehicles in mission flights
Görev uçuşu gerçekleştiren hava araçları için vücutlaştırılmış bilişsel bir pilot modelinin geliştirilmesi ve değerlendirilmesi
YASİN KAYGUSUZ
Doktora
İngilizce
2023
Havacılık MühendisliğiOrta Doğu Teknik ÜniversitesiBilişsel Bilim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT PERİT ÇAKIR
- Belirlenen av sorumluluk sahasında hava savunma görevinin doğrusal olmayan programlama yöntemiyle modellenmesi ve eniyilenmesi
Modelling and optimizing the air defence task in designated fighter area of responsibility by non-linear programming
FEVZİ ULAŞ AVŞAR
Yüksek Lisans
Türkçe
2012
Endüstri ve Endüstri MühendisliğiHava Harp Okulu KomutanlığıEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. TUFAN DEMİREL
- Optimal kontrolcü ve gözleyici metodu kullanılarak savaş uçağı için uçuş kontrolü tasarımı
Flight control system design of fighter aircraft using optimal controller and observer
MUSTAFA FATİH MACİT
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONUR AKBATI