Geri Dön

Advanced visual odometry and depth estimation techniques for unmanned aerial systems (UAS) in U-Space environments

İnsansız hava araçları (İHA) için gelişmiş görsel odometri ve derinlik tahmin teknikleri U-Space ortamlarında

PDF İndir

  1. Tez No: 917249
  2. Yazar: SEYED ERFAN SEYED ROGHANI
  3. Danışmanlar: Assoc. Prof. Dr. EMRE KOYUNCU
  4. Tez Türü: Doktora
  5. Konular: Havacılık ve Uzay Mühendisliği, Aeronautical Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Uçak ve Uzay Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Uçak ve Uzay Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 92

Özet

Bu tez, İnsansız Hava Araçları (İHA) için Gelişmiş Görsel Odometri (VO) ve Derinlik Tahmin Tekniklerini, özellikle U-Space ortamlarında ele almaktadır. U-Space, Avrupa Birliği tarafından geliştirilen ve insansız hava araçlarının (İHA) güvenli, verimli ve düzenli bir şekilde hava sahasına entegrasyonunu sağlamak amacıyla oluşturulmuş bir girişimdir. Bu kapsamda, İHA'ların otonom olarak çalışabilmesi için gerekli olan iki temel teknoloji üzerine odaklanılmaktadır: hassas görsel odometri ve güvenilir derinlik tahmini. Bu çalışma, bu iki kritik bileşeni geliştirerek U-Space ortamlarında İHA operasyonlarının daha güvenli ve etkili bir şekilde yürütülmesine katkıda bulunmayı amaçlamaktadır. Giriş - 1. Bölüm: Giriş bölümünde, U-Space'in tarihçesi ve bu kavramın Avrupa'daki hava sahasına entegrasyon süreci detaylı bir şekilde ele alınmaktadır. U-Space'in gelişimi, çeşitli aşamalar (U1, U2, U3, U4) çerçevesinde anlatılmakta ve bu aşamalarda sunulan hizmetler derinlemesine incelenmektedir. Özellikle, U-Space'in sunduğu hizmetlerin güvenli operasyonları destekleme kapasitesi üzerinde durulmakta ve bu hizmetlerin İHA operasyonları için nasıl kritik bir rol oynadığı vurgulanmaktadır. Bu bağlamda, İHA operasyonlarının karşılaştığı zorluklar ve bu zorlukların üstesinden gelmek için geliştirilen teknolojik çözümler tartışılmaktadır. Ayrıca, U-Space'in gelecekteki gelişim sürecinde İHA'ların nasıl bir yol izleyeceği ve bu süreçte hangi teknolojik yeniliklerin ön plana çıkacağı konusunda öngörülerde bulunulmaktadır. Bu bölüm, aynı zamanda, İHA'ların hava sahasına entegrasyonunda karşılaşılan yasal ve teknik engelleri de ele almakta ve bu engellerin aşılması için önerilen stratejileri tartışmaktadır. U-Space, insansız hava araçlarının düşük seviyeli hava sahasına erişimini yönetmek için tasarlanmış bir dizi yeni hizmet ve prosedürü içerir. U-Space'in 2017 yılında yayımlanan“U-space Blueprint”adlı belgeyle şekillenen bu kavram, İHA'ların güvenli, verimli ve güvenilir bir şekilde hava sahasına entegre olmasını sağlamayı hedeflemektedir. Bu çerçevede, U-Space'in dört ana aşamada uygulanması öngörülmüştür: U1 (Temel Hizmetler), U2 (İlk Hizmetler), U3 (Gelişmiş Hizmetler), ve U4 (Tam Hizmetler). Bu aşamalar, İHA'ların hava sahasına entegrasyonu için gereken hizmetlerin kademeli olarak gelişmesini sağlamaktadır. Giriş bölümünde ayrıca, İHA'ların acil durumlarda otonom olarak nasıl hareket etmesi gerektiği konusundaki zorluklar da ele alınmaktadır. Özellikle, İHA'ların görsel odometri ve derinlik tahmini gibi teknolojilerle donatılması, bu tür acil durumlarda güvenli bir şekilde navigasyon yapabilmeleri için kritik öneme sahiptir. Bu bağlamda, görsel odometri ve derinlik tahmini konusundaki yenilikçi çözümler, U-Space içerisinde İHA'ların güvenli ve verimli bir şekilde operasyon yapabilmesi için hayati bir role sahiptir. Kanonik Üç Kameralı Özellik Tabanlı Görsel Odometri - 2. Bölüm: Bu bölümde, İHA'lar için Görsel Odometri (VO) geliştirmek amacıyla önerilen yeni bir üç kameralı yapılandırma tanıtılmaktadır. Görsel odometri, bir İHA'nın kameralar aracılığıyla çevresel değişiklikleri analiz ederek kendi pozisyonunu ve hareketini hesaplama sürecidir. Bu çalışmada, geleneksel iki kameralı yapılandırmalarla karşılaştırıldığında, sırasıyla sıralı ve 45 derecelik iki üç kameralı kurulumun performansı incelenmiştir. Yatay, dikey, hibrit ve uzun senaryolarla test edilen bu yapılandırmalar, 45 derecelik üç kameralı kurulumun, standart lensle, doğruluk ve hesaplama verimliliği açısından önemli iyileştirmeler sağladığını ortaya koymuştur. Bu yapılandırma, iki kameralı sistemlerle karşılaştırıldığında hesaplama maliyetini $\%40$ oranında azaltırken, daha doğru sonuçlar sunmaktadır. Bölümde sunulan bulgular, üç kameralı kurulumun, iki kameralı yapılandırmalara kıyasla daha az hesaplama çabası gerektirirken daha yüksek doğruluk sağladığını göstermektedir. Özellikle, sıralı kurulumun, hesaplama maliyetlerini önemli ölçüde düşürdüğü ve görsel odometri sürecini hızlandırdığı vurgulanmıştır. Bunun yanı sıra, 45 derecelik kurulumun, zengin özellikli sahnelerde bile daha yüksek doğruluk sağladığı belirtilmiştir. Balık gözü lensi ile yapılan denemeler, bu tür lenslerin belirli durumlarda performansı nasıl etkileyebileceğini tartışmakta ve görsel odometri algoritmalarının bu tür lenslerle nasıl optimize edilebileceğini ele almaktadır. Bu bölümdeki sonuçlar, özellikle yüksek doğruluk ve düşük hesaplama maliyeti gerektiren uygulamalar için önemli bir ilerleme kaydedildiğini göstermektedir. Bu çalışmada ayrıca, üç kameralı yapılandırmanın, İHA'ların çeşitli senaryolarda karşılaştıkları zorlukları nasıl ele aldığı da analiz edilmektedir. Bu bağlamda, görsel odometri algoritmalarının, çeşitli uçuş senaryolarında nasıl performans gösterdiği ve bu performansın hangi faktörlerden etkilendiği derinlemesine incelenmiştir. Özellikle, farklı senaryolar (yatay, dikey, hibrit, uzun) altında yapılan testler, 45 derecelik üç kameralı kurulumun daha üstün performans sergilediğini ortaya koymaktadır. Balık gözü lensinin kullanımı ile elde edilen sonuçlar, bu tür lenslerin belirli durumlarda performansı nasıl etkileyebileceğini ve bu etkileşimin görsel odometri algoritmalarının doğruluğu üzerindeki etkisini tartışmaktadır. Tek Gözlü Derinlik Tahmin Modelinin Gerçek Sahnelere Uygun Şekilde İncelenmesi - 3. Bölüm: Bu bölümde, maliyet açısından etkili olmasına rağmen genellikle stereo kameralara kıyasla daha az güvenilir olan tek kameralı sistemler için derinlik tahmini zorlukları ele alınmaktadır. Derinlik tahmini, bir İHA'nın çevresindeki nesnelerin mesafesini doğru bir şekilde belirlemesi için kritik bir bileşendir ve bu, çarpışma önleme ve yol planlaması gibi görevler için hayati öneme sahiptir. Araştırma, derin öğrenme modellerinin, sınırlı gerçek dünya veri setleriyle ince ayarlandığında nasıl optimize edilebileceğini araştırmaktadır. Çalışma, sentetik RGB-D veri kümeleri üzerinde eğitilen derin öğrenme modellerinin, sınırlı sayıda gerçek dünya verisiyle nasıl optimize edilebileceğini incelemektedir. Sonuçlar, tüm model parametrelerinin tamamen ince ayarının, yalnızca kod çözücünün ince ayarına kıyasla, özellikle gerçek veri miktarının optimal model performansı için gereken verinin $\%12.5$'inden az olduğu durumlarda en iyi performansı sağladığını göstermektedir. Bu bulgu, yalnızca sınırlı sayıda gerçek dünya verisinin mevcut olduğu uygulamalar için kritik öneme sahiptir. Bu bölümde ayrıca, derin öğrenme modellerinin sentetik veri kümeleri ile eğitilmesi ve bu modellerin gerçek dünya verilerine nasıl uygulanması gerektiği konusunda ayrıntılı bir inceleme yapılmaktadır. Simülasyon ortamlarında oluşturulan sentetik verilerin kullanımı, bu verilerin gerçek dünya verileriyle nasıl uyumlu hale getirilebileceği tartışılmaktadır. İHA'lar için geliştirilen derinlik tahmin modellerinin, sentetik veri kümeleri üzerinde eğitildikten sonra gerçek dünya ortamlarında nasıl performans gösterdiği analiz edilmektedir. Bu analizler, sınırlı sayıda gerçek veri ile bile modelin nasıl optimize edilebileceğini göstermekte ve bu konuda önemli ipuçları sunmaktadır. Özellikle, derin öğrenme modellerinin gerçek dünya verileri ile ince ayar yapılmasının, modellerin performansını artırmada ne kadar önemli olduğu vurgulanmaktadır. Bu çalışmada ayrıca, sentetik veri kümelerinin oluşturulmasında kullanılan yöntemler de ayrıntılı olarak ele alınmaktadır. Simülasyon ortamlarında oluşturulan veri kümeleri, gerçek dünya senaryolarını taklit etmek için tasarlanmıştır ve bu veriler, derin öğrenme modellerinin eğitimi için kullanılmıştır. Çalışma, bu tür sentetik veri kümelerinin, gerçek dünya verileriyle nasıl uyumlu hale getirilebileceğini ve bu

Özet (Çeviri)

This thesis explores advanced techniques in visual odometry (VO) and depth estimation for Unmanned Aerial Systems (UAS), specifically within the context of U-Space environments. U-Space, as a European initiative, aims to ensure the safe, efficient, and secure integration of UAS into airspace. This work contributes to this goal by addressing two critical aspects of UAS navigation: precise visual odometry and reliable depth estimation. Chapter 1 - Introduction: The introduction presents the context of U-Space, outlining its evolution and the services it offers, with a focus on emergency management. The challenges of autonomous contingency planning in UAS operations are highlighted, particularly in relation to visual odometry and depth estimation. Chapter 2 - Canonical Trinocular Feature-Based Visual Odometry: This chapter proposes a novel trinocular camera configuration to enhance VO for UAS. The research compares two trinocular setups—inline and 45-degree—with traditional binocular setups, testing them in various scenarios (horizontal, vertical, hybrid, and long). The results demonstrate that the 45-degree trinocular configuration with a standard lens offers significant improvements in both accuracy and computational efficiency, reducing the computational effort to 40\% of that required by binocular systems while delivering more accurate results. However, when a fisheye lens is used, the benefits are less pronounced, particularly in vertical and long scenarios. Chapter 3 - Fine-Tuning Monocular Depth-Estimator Artificial Neural Networks Trained on Synthetic RGB-D Datasets for Real Scenes: This chapter addresses the challenge of depth estimation for UAS using monocular cameras, which are cost-effective but typically less reliable than stereo cameras. The research investigates the effectiveness of fine-tuning deep-learning models trained on synthetic data with small real-world datasets. The results show that complete fine-tuning of all model parameters, as opposed to just the decoder, yields the best performance, especially when the available real data is limited to less than 12.5\% of the data required for optimal model performance. This finding is crucial for applications where only limited real-world data is available. Conclusion: The thesis concludes that the proposed trinocular VO configuration significantly enhances the accuracy and efficiency of UAS navigation, particularly in complex U-Space environments. Additionally, it establishes the importance of fine-tuning depth estimation models with real-world data, even when such data is scarce, to improve the reliability of UAS in operational scenarios. These advancements contribute to the broader goal of integrating UAS into airspace, ensuring they can operate safely and effectively under various conditions.

Benzer Tezler

  1. Tez No

    929626

    LiDAR based ground plane estimation, hybrid visual-LiDAR odometry and navigation of autonomous trucks

    Otonom maden sahası kamyonları için zemin düzlemi tahmini, hibrit görsel-LiDAR odometri ve navigasyon sistemi

    EREN AYDEMİR

    Doktora

    İngilizce

    İngilizce

    2024

    Mekatronik MühendisliğiSabancı Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA ÜNEL

  2. Tez No

    921997

    Estimation of position and orientation with visual odometry for ground vehicles

    Kara araçları için görsel odometri yöntemi ile pozisyon ve duruş tahmini

    BURAK ALİ ARSLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. FİKRET ÇALIŞKAN

  3. Tez No

    661700

    Metric scale and 6dof pose estimation using a color camera and distance sensors

    Renkli kamera ve mesafe sensörleri kullanılarak metrik ölçek ve 6 eksenli pozisyonlama hesaplaması

    BURHAN ÖLMEZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. TEMEL ENGİN TUNCER

  4. Tez No

    958353

    Mobil robotlarda sensör füzyon tekniklerine dayalı konum tahmininin geliştirilmesi

    Improving position estimation in mobile robots based on sensor fusion techniques

    BEHİCE BAKIR

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-Cerrahpaşa

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EBU YUSUF GÜVEN

  5. Tez No

    945251

    Comparison of quaternion-based orientation estimation methods using 9-dof marg sensors

    Dokuz serbestlik dereceli marg sensörleri kullanılarak dördey tabanlı yönelim kestirim yöntemlerinin karşılaştırılması

    BURAK TANTAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. HAKAN TEMELTAŞ

Geri Dön