Autonomous ground refuelling framework of civil aircrafts using computer vision and robotics
Bılgısayar görüsü ve robotık kullanarak sıvıl uçakların otonom yerde ıkmal sıstemının çerçevesının oluşturulması
- Tez No: 942168
- Danışmanlar: YRD. DOÇ. DR. ZEESHAN A. RANA
- Tez Türü: Doktora
- Konular: Havacılık ve Uzay Mühendisliği, Aeronautical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Cranfield University
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Havacılık ve Uzay Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Havacılık ve Uzay Mühendisliği Bilim Dalı
- Sayfa Sayısı: 221
Özet
Sivil hava taşıtlarının otonom yer yakıt ikmali, güvenlik protokollerine sıkı sıkıya bağlı kalınmasını ve ayrıntılara dikkat edilmesini gerektiren kritik bir operasyondur. Bu, yakıt buharının istenmeden tutuşması, prosedür hatalarından kaynaklanan yakıt dökülmesi, sızıntılar, uçak tankının havalanması veya basınçlı yakıt hatlarının veya bağlantılarının arızalanması gibi önemli zararlardan kaçınmak içindir. Ayrıca, bir hava aracı veya yakıt ikmal aracı üzerinde yüzey statik yükünün birikmesi de risk oluşturmaktadır. Bu tehlikeler hava taşıtında önemli hasara yol açabilir ve yolcuların ve mürettebatın güvenliği için ciddi tehditler oluşturabilir. Otomasyon ve robot teknolojilerinin kullanılmaya başlanması, yerde yakıt ikmali operasyonlarının verimliliğini ve güvenliğini artırma potansiyeline sahiptir. Bu tez, sivil uçakların yakıt ikmali sürecini iyileştirmek için bilgisayarlı görü ve robotik kullanan otonom bir yerde yakıt ikmali çerçevesi önermektedir. Bu tez, basınçlı yakıt ikmal adaptörünün yeni bir hibrit veri kümesi aracılığıyla alan rastgeleleştirme etkilerine, gerçek zamanlı algılama ve lokalizasyon için özel tasarlanmış sinir ağını geliştirerek ablasyon etkilerine ve lazer tabanlı lokalizasyon sistemi ile karşılaştırarak görüş tabanlı lokalizasyon çerçevesinin etkinliğine ışık tutmuştur. Çerçeve, uçağın yakıt ikmal adaptörünü üç boyutlu uzayda tespit etmek ve konumlandırmak için Intel® RealSense™ D435 Stereo Derinlik Kamerası ve özel tasarlanmış sinir ağını kullanmaktadır. Özel tasarlanmış sinir ağı, Boeing 737-400 uçağından gerçek görüntüler ve fizik tabanlı bir simülatör tarafından üretilen sentetik görüntüler içeren basınçlı yakıt ikmal adaptörünün yeni hibrit veri kümesi kullanılarak eğitilmiştir. Görsel yörünge planlama kontrol çerçevesi kullanılarak, basınçlı yakıt ikmal adaptörünün konumu ve yönü Boeing 737-400'den elde edilmiştir. Yakıt ikmali adaptörünün bu konum ve yönelim bilgileri kullanılarak robotik manipülatöre yakıt ikmali işlemini otonom olarak gerçekleştirmesi için rehberlik edilir. Deneyler, göreve özel geliştirilen sinir ağının EfficientNet-B0, VGG-16, ResNet-18, YOLOv4, YOLOv5s ve YOLOv5x gibi iyi bilinen Transfer Öğrenme modellerini geride bırakarak %99,19 doğruluk, %0,023 doğrulama kaybı, %98,26 kesinlik, %99,58 geri çağırma ve %97,92 mAP@%95 değerlerine ulaştığını göstermektedir. Ayrıca, fizik tabanlı bir simülatör aracılığıyla oluşturulan sentetik görüntü veri setinin, Boeing 737-400'den alınan gerçek görüntülerle uyumlu bir şekilde, basınçlı yakıt ikmal adaptörünü gerçek zamanlı olarak tespit etmek ve konumlandırmak için özel olarak geliştirilen sinir ağını eğitmek için kullanılabileceği gösterilmiştir. Sadece gerçek görüntülerden oluşan bir veri setinin geliştirilmesi çok pahalı ve zaman alıcı olabileceğinden bu oldukça önemlidir. Görsel yörünge planlama kontrol çerçevesi, yakıt ikmal adaptöründen 57 cm mesafede 0,67 mm kadar küçük hatalarla kayda değer bir hassasiyet de göstermiştir. Önerilen çerçevede bilgisayar görüşü ve robotik entegrasyonu, insan hatasıyla ilişkili riskleri en aza indirirken daha fazla hassasiyet, doğruluk ve verimlilik sağlar. Çerçevenin yerde yakıt ikmali operasyonlarında güvenlik ve verimliliği artırma potansiyeli, çeşitli endüstriyel koşullarda otomasyon ve akıllı robotlara yönelik artan eğilimle uyumludur.
Özet (Çeviri)
Autonomous ground refuelling of civil aircraft is a critical operation that demands strict adherence to safety protocols and attention to detail. This is to avoid significant harm such as unintended ignition of fuel vapour, fuel spillage arising from procedural errors, leaks, aircraft tank venting or failure of pressurised fuel lines or their couplings. Additionally, the accumulation of a surface static charge on either an aircraft or its fuelling vehicle also poses risks. These hazards could lead to substantial damage to the aircraft and pose serious threats to the safety of passengers and crew. The introduction of automation and robotics has the potential to enhance the efficiency and safety of ground refuelling operations. This thesis proposes an autonomous ground refuelling framework that utilises computer vision and robotics to improve the refuelling process of civil aircraft. This thesis has shed light on the domain randomisation effects through a novel hybrid dataset of the pressurised refuelling adaptor, the ablation effects by developing the custom-designed neural network for real-time detection and localisation, the effectiveness of the vision based localisation framework by comparing it with the laser-based localisation system. The framework utilises the Intel® RealSense™ D435 Stereo Depth Camera and the custom designed neural network to detect and localise the refuelling adaptor of the aircraft in three-dimensional space. The custom-designed neural network has been trained using the novel hybrid dataset of the pressurised refuelling adaptor incorporating real images from Boeing 737-400 aircraft and synthetic images generated by a physics-based simulator. By utilising the visual trajectory planning control framework, the position and orientation of the pressurised refuelling adaptor are procured from Boeing 737-400. Using this position and orientation information of the refuelling adaptor is used to guide the robotic manipulator to perform the refuelling operation autonomously. The experiments demonstrate that the task-specific custom-developed neural network has reached 99.19% accuracy, 0.023% validation loss, 98.26% precision, 99.58% recall and 97.92% mAP@95% by surpassing well-known Transfer Leaning models such as EfficientNet-B0, VGG-16, ResNet-18, YOLOv4, YOLOv5s and YOLOv5x. Furthermore, it has been shown that the synthetic image dataset generated through a physics based simulator can be used in harmony with real images taken from Boeing 737-400 to train the custom-developed neural network to detect and locate the pressurised refuelling adaptor in real time. This is rather important as the development of a dataset containing only real images can be very expensive and time-consuming. The visual trajectory planning control framework has also demonstrated remarkable precision with errors as small as 0.67 mm at a distance of 57 cm from the refuelling adaptor. The integration of computer vision and robotics in the proposed framework provides increased precision, accuracy and efficiency while minimising the risks associated with human error. The framework's potential to enhance safety and efficiency in ground refuelling operations aligns with the increasing trend towards automation and intelligent robots in various industrial circumstances.
Benzer Tezler
- Otonom kara araçları için yeni hibrit ve iyileştirilmiş yol takip kontrol yöntemleri
Novel hybrid and improved path tracking control methods for autonomous ground vehicles
MUHAMMED ÇELİK
Yüksek Lisans
Türkçe
2021
Mekatronik MühendisliğiYıldız Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. CENK ULU
- Otonom kara ve hava araçları ile akıllı tarım: Hasat optimizasyonu üzerine bir uygulama
Smart agriculture with autonomous ground and air vehicles: Application on to harvest optimization
ALPARSLAN GÜZEY
- Advanced control and local planner for mobile robots
Mobil robotlar için ileri kontrol ve yerel planlayıcı
AHMED ADNAN HAMZAH AL-NASERI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERKAN USLU
- Development of a multi-sensored autonomous ground vehicle
Çok algılayıcılı özerk bir yer aracının geliştirilmesi
FAHRİ SERHAN DANİŞ
Yüksek Lisans
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiSistem ve Kontrol Mühendisliği Ana Bilim Dalı
PROF. H. LEVENT AKIN
- Model predictive contouring control for autonomous ground vehicles
Otonom kara araçları için model öngörülü kontur kontrolü
ÖMER FARUK DİK
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MÜJDE GÜZELKAYA