Autonomous ground refuelling framework of civil aircrafts using computer vision and robotics
Bılgısayar görüsü ve robotık kullanarak sıvıl uçakların otonom yerde ıkmal sıstemının çerçevesının oluşturulması
- Tez No: 942168
- Danışmanlar: YRD. DOÇ. DR. ZEESHAN A. RANA
- Tez Türü: Doktora
- Konular: Havacılık ve Uzay Mühendisliği, Aeronautical Engineering
- Anahtar Kelimeler: Görüntü işleme, Yapay zeka, Image processing, Artificial intelligence
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Cranfıeld Unıversıty
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Havacılık ve Uzay Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Havacılık ve Uzay Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Sivil hava taşıtlarının otonom yer yakıt ikmali, güvenlik protokollerine sıkı sıkıya bağlı kalınmasını ve ayrıntılara dikkat edilmesini gerektiren kritik bir operasyondur. Bu, yakıt buharının istenmeden tutuşması, prosedür hatalarından kaynaklanan yakıt dökülmesi, sızıntılar, uçak tankının havalanması veya basınçlı yakıt hatlarının veya bağlantılarının arızalanması gibi önemli zararlardan kaçınmak içindir. Ayrıca, bir hava aracı veya yakıt ikmal aracı üzerinde yüzey statik yükünün birikmesi de risk oluşturmaktadır. Bu tehlikeler hava taşıtında önemli hasara yol açabilir ve yolcuların ve mürettebatın güvenliği için ciddi tehditler oluşturabilir. Otomasyon ve robot teknolojilerinin kullanılmaya başlanması, yerde yakıt ikmali operasyonlarının verimliliğini ve güvenliğini artırma potansiyeline sahiptir. Bu tez, sivil uçakların yakıt ikmali sürecini iyileştirmek için bilgisayarlı görü ve robotik kullanan otonom bir yerde yakıt ikmali çerçevesi önermektedir. Bu tez, basınçlı yakıt ikmal adaptörünün yeni bir hibrit veri kümesi aracılığıyla alan rastgeleleştirme etkilerine, gerçek zamanlı algılama ve lokalizasyon için özel tasarlanmış sinir ağını geliştirerek ablasyon etkilerine ve lazer tabanlı lokalizasyon sistemi ile karşılaştırarak görüş tabanlı lokalizasyon çerçevesinin etkinliğine ışık tutmuştur. Çerçeve, uçağın yakıt ikmal adaptörünü üç boyutlu uzayda tespit etmek ve konumlandırmak için Intel® RealSense™ D435 Stereo Derinlik Kamerası ve özel tasarlanmış sinir ağını kullanmaktadır. Özel tasarlanmış sinir ağı, Boeing 737-400 uçağından gerçek görüntüler ve fizik tabanlı bir simülatör tarafından üretilen sentetik görüntüler içeren basınçlı yakıt ikmal adaptörünün yeni hibrit veri kümesi kullanılarak eğitilmiştir. Görsel yörünge planlama kontrol çerçevesi kullanılarak, basınçlı yakıt ikmal adaptörünün konumu ve yönü Boeing 737-400'den elde edilmiştir. Yakıt ikmali adaptörünün bu konum ve yönelim bilgileri kullanılarak robotik manipülatöre yakıt ikmali işlemini otonom olarak gerçekleştirmesi için rehberlik edilir. Deneyler, göreve özel geliştirilen sinir ağının EfficientNet-B0, VGG-16, ResNet-18, YOLOv4, YOLOv5s ve YOLOv5x gibi iyi bilinen Transfer Öğrenme modellerini geride bırakarak %99,19 doğruluk, %0,023 doğrulama kaybı, %98,26 kesinlik, %99,58 geri çağırma ve %97,92 mAP@%95 değerlerine ulaştığını göstermektedir. Ayrıca, fizik tabanlı bir simülatör aracılığıyla oluşturulan sentetik görüntü veri setinin, Boeing 737-400'den alınan gerçek görüntülerle uyumlu bir şekilde, basınçlı yakıt ikmal adaptörünü gerçek zamanlı olarak tespit etmek ve konumlandırmak için özel olarak geliştirilen sinir ağını eğitmek için kullanılabileceği gösterilmiştir. Sadece gerçek görüntülerden oluşan bir veri setinin geliştirilmesi çok pahalı ve zaman alıcı olabileceğinden bu oldukça önemlidir. Görsel yörünge planlama kontrol çerçevesi, yakıt ikmal adaptöründen 57 cm mesafede 0,67 mm kadar küçük hatalarla kayda değer bir hassasiyet de göstermiştir. Önerilen çerçevede bilgisayar görüşü ve robotik entegrasyonu, insan hatasıyla ilişkili riskleri en aza indirirken daha fazla hassasiyet, doğruluk ve verimlilik sağlar. Çerçevenin yerde yakıt ikmali operasyonlarında güvenlik ve verimliliği artırma potansiyeli, çeşitli endüstriyel koşullarda otomasyon ve akıllı robotlara yönelik artan eğilimle uyumludur.
Özet (Çeviri)
Autonomous ground refuelling of civil aircraft is a critical operation that demands strict adherence to safety protocols and attention to detail. This is to avoid significant harm such as unintended ignition of fuel vapour, fuel spillage arising from procedural errors, leaks, aircraft tank venting or failure of pressurised fuel lines or their couplings. Additionally, the accumulation of a surface static charge on either an aircraft or its fuelling vehicle also poses risks. These hazards could lead to substantial damage to the aircraft and pose serious threats to the safety of passengers and crew. The introduction of automation and robotics has the potential to enhance the efficiency and safety of ground refuelling operations. This thesis proposes an autonomous ground refuelling framework that utilises computer vision and robotics to improve the refuelling process of civil aircraft. This thesis has shed light on the domain randomisation effects through a novel hybrid dataset of the pressurised refuelling adaptor, the ablation effects by developing the custom-designed neural network for real-time detection and localisation, the effectiveness of the vision based localisation framework by comparing it with the laser-based localisation system. The framework utilises the Intel® RealSense™ D435 Stereo Depth Camera and the custom designed neural network to detect and localise the refuelling adaptor of the aircraft in three-dimensional space. The custom-designed neural network has been trained using the novel hybrid dataset of the pressurised refuelling adaptor incorporating real images from Boeing 737-400 aircraft and synthetic images generated by a physics-based simulator. By utilising the visual trajectory planning control framework, the position and orientation of the pressurised refuelling adaptor are procured from Boeing 737-400. Using this position and orientation information of the refuelling adaptor is used to guide the robotic manipulator to perform the refuelling operation autonomously. The experiments demonstrate that the task-specific custom-developed neural network has reached 99.19% accuracy, 0.023% validation loss, 98.26% precision, 99.58% recall and 97.92% mAP@95% by surpassing well-known Transfer Leaning models such as EfficientNet-B0, VGG-16, ResNet-18, YOLOv4, YOLOv5s and YOLOv5x. Furthermore, it has been shown that the synthetic image dataset generated through a physics based simulator can be used in harmony with real images taken from Boeing 737-400 to train the custom-developed neural network to detect and locate the pressurised refuelling adaptor in real time. This is rather important as the development of a dataset containing only real images can be very expensive and time-consuming. The visual trajectory planning control framework has also demonstrated remarkable precision with errors as small as 0.67 mm at a distance of 57 cm from the refuelling adaptor. The integration of computer vision and robotics in the proposed framework provides increased precision, accuracy and efficiency while minimising the risks associated with human error. The framework's potential to enhance safety and efficiency in ground refuelling operations aligns with the increasing trend towards automation and intelligent robots in various industrial circumstances.
Benzer Tezler
- Estimation of asymptotic stability regions of nonlinear autonomous dynamic systems by the method of tangent hypersurfaces
Başlık çevirisi yok
MUALLA DEMİRDELEN
Yüksek Lisans
İngilizce
1989
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiDOÇ. DR. A. MÜRŞİT ESKİCİOĞLU
- Femoro popliteal by-passlarda kullanılan ven greftleri ile sentetik greft sonuçlarının karşılaştırılması
Başlık çevirisi yok
HASAN NAMATİ
Tıpta Uzmanlık
Türkçe
1989
Göğüs Kalp ve Damar Cerrahisiİstanbul ÜniversitesiGöğüs Kalp ve Damar Cerrahisi Ana Bilim Dalı
- Diferensiyel denklemlerde çözümlerin karlılığı
Başlık çevirisi yok
CEMİL TUNÇ
Yüksek Lisans
Türkçe
1990
MatematikErciyes ÜniversitesiMatematik Ana Bilim Dalı
YRD. DOÇ. DR. AYDIN TİRYAKİ
- Irak'ta merkezi idare ve özerk bölge
Başlık çevirisi yok
MUZAFFER NURİ
Doktora
Türkçe
1989
Kamu YönetimiGazi ÜniversitesiKamu Yönetimi Ana Bilim Dalı
PROF. DR. SÜLEYMAN ARSLAN
- Dağıtık bir işletim sistemi için gerçek-zamanlı, çok-görevli bir çekirdek tasarımı
Başlık çevirisi yok
KAYHAN ERCİYEŞ
Doktora
Türkçe
1989
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SİNAN YILMAZ