Geri Dön

Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight

Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş

PDF İndir

  1. Tez No: 883414
  2. Yazar: ARSLAN ARTYKOV
  3. Danışmanlar: DOÇ. DR. EMRE KOYUNCU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Uçak Mühendisliği, Aeronautical Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Uçak ve Uzay Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Uçak ve Uzay Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 75

Özet

Bu tezde, temel amacımız, dış ̧ mekan ortamlarında otononom uçuşlarda karşılaşılan zorluklara karşı insansız hava aracının görüntüsel-ivmesel navigasyon yeteneklerini kapsamlı bir şekilde araştırmak ve geliştirmektir. Otonom uçuşun başarılı bir şekilde gerçekleştirilmesi, sadece son derece hassas değil aynı zamanda olağanüstü derecede sağlam bir navigasyon algoritmasının uygulanmasını gerektirir. Bu sayede insansız hava aracı, uçuş rotası boyunca karşılaşılan çeşitli statik ve dinamik engeller arasında güvenli bir şekilde seyahat edebilir. Bu karmaşık sorunu çözmek için kritik bir gereklilik, aracın hareket durum değişkenlerinin doğru bir şekilde tahmin edilmesidir. Görsel navigasyon sistemleri, açık ve karmaşık ortamlarda aracın konumlandırmasını ve navigasyonunu sağlayarak otonom uçuşu mümkün kılar. Bu sistemler, GPS sinyalinin bozuk veya sınırlı uydu görünürlüğü gibi dış etkenlerden dolayı GPS sinyallerinin güvenilmez veya yanlış olduğu durumlarda önemlidir. GPS'in kullanılamadığı senaryolara örnek olarak iç mekanda uçuş, uzay uçuşu veya yüksek binaların olduğu yoğun kentsel ortamlarda manevra yapma gibi durumlar örnek olarak verilebilir. GPS'in güvenli şekilde kullanılamadığı durumlarda otonom araçlar konumlarını ve yönlerini doğru bir şekilde belirlemek için alternatif yöntemlere başvurmak zorundadır. Geniş çapta tanınan ve yoğun bir şekilde araştırılan bir yaklaşım görsel odometri olarak bilinir ve hayvanlar ve insanlardaki navigasyon sistemlerinden ilham alır. Görsel odometri, bir veya birkaç kamera kullanarak aracın konumunu aşamalı olarak tahmin etmek için kullanılır. Kamera kullanımı sadece maliyet açısından avantajlı değil, aynı zamanda güvenilir konumlandırma ve navigasyon için temel olan zengin mekansal bilgileri de sağlar. Tipik bir görsel odometri işlem hattı dört ana as ̧amadan oluşur. İlk olarak, her kamera görüntüsünden faydalı noktalar çıkarılır. Bu, ayırt edici noktaların belirlenmesini ve bunların görsel görünümlerini karakterize eden benzersiz tanımlayıcıların oluşturulmasını içerir. Bu noktalar, sonraki aşamalarda ayırt edici işaret noktaları olarak kullanılır. Bir sonraki adımda, çıkarılan noktalar tanımlayıcı vektörlerin arasındaki mesafeler hesaplanarak ard arda gelen görüntüler arasında eşleştirilir. Bu eşleştirme süreci, görsel noktalar arasında bağlantılar kurarak, görüntülerin zaman içinde hareketlerinin takibini sağlar ve aracın hareketini tahmin etmek için önemli bilgiler sağlar. Nokta eşleştirmeleri sağlandıktan sonra, ardışık görüntüler arasındaki göreli konumu hesaplamak için geometrik kurallar kullanılır. Eşleşen noktaların gözlemlenen yer değiştirmelerinden yararlanarak ve sahnenin altında yatan geometriyi dahil ederek, algoritma, aracın hareketini ve konum değişikliklerini zaman içinde tahmin eder ve dog ̆ru bir hareket rotasının oluşturulmasına katkıda bulunur. Tahmin edilen konumların doğruluğunu daha da artırmak için, önceden tahmin edilen tüm konumlar optimize edilerek bir konum iyileştirme as ̧aması gerçekleştirilir. Bu optimizasyon süreci, aşamalı konum tahmininde ortaya çıkabilecek hataları ve tutarsızlıkları en aza indirmeyi amaçlar. Böylece daha hassas ve güvenilir bir konum tahmini elde edilir. Görsel navigasyon, statik iç mekan ortamlarında tatmin edici tahminler sağlayabilirken, gerçek dünya koşulları birçok ele alınması gereken zorluklar sunar. Bu zorluklar arasında hareket bulanıklığı, yüksek dinamik aralık (HDR), dinamik dış ortam ve görüntü bozulması yer alır. Bu engelleri aşmak ve konum tahmininin güvenilirliğini artırmak için sistemimize ataletsel ölçüm birimi (IMU) sensörü dahil ediyoruz. Kameraların aksine, IMU sensörü HDR gibi dış etkenlerden veya hareketli nesnelerin varlığından etkilenmez. IMU, kameralar tarafından yakalanan görsel bilgilere tamamlayıcı bir sensör olarak hizmet eder. Hem kameraların hem de IMU'nun entegrasyonu genellikle görsel-ataletsel odometri (VIO) olarak adlandırılır. Bu sensörlerin güçlerini birleştirerek, her birinin kısıtlamalarıyla bas ̧a çıkabilir ve daha sag ̆lam ve dog ̆ru bir hareket tahmini hattı oluşturabiliriz. VIO yaklaşımında, IMU sensörü kameralardan daha yüksek hızda çalışarak ajanın lineer ivmelerini ve açısal hızlarını hassas bir s ̧ekilde ölçer. Bu ataletsel ölçümler daha sonra iki ardışık kamera görüntüsü arasındaki hareket tahmini sürecine entegre edilir ve dahil edilir. Kameralardan gelen görsel bilgileri IMU'nun ataletsel ölçümleriyle birleştirerek, zorlu senaryoların bile varlığında hareket tahmini sürecinin genel doğruluğunu ve sağlamlığını artırabiliriz. IMU'nun görsel odometri hattına dahil edilmesi birkaç avantaj sağlar. IMU ölçümleri hareket bulanıklığından etkilenmez, bu nedenle yüksek hızlı hareketin olduğu senaryolarda büyük avantaj sağlar. Ayrıca, kameralar tarafından tek başına doğrudan gözlemlenemeyen aracın hareketi hakkında kritik bilgiler sağlar. Kameralar tarafından yakalanan görsel ipuçlarını IMU ölçümleriyle birleştirerek, VIO bize dinamik sahneleri, değişen aydınlatma koşullarını ve görsel navigasyon sistemlerinin doğruluğunu etkileyebilen diğer zorlu gerçek dünya faktörlerini ele alma imkanı sağlar. Görsel ve ataletsel sensörlerin birbirini tamamlayan güçlerinden faydalanarak, görsel-ataletsel odometri yaklaşımı çeşitli ve dinamik gerçek dünya ortamlarında görsel navigasyonun kısıtlamalarını aşar. Bu sensör verilerinin birleştirilmesi, daha güvenilir ve doğru bir hareket tahmini hattı sağlar ve otonom sistemlerin geniş bir yelpazede zorlu senaryolarda artan hassasiyet ve güvenilirlikle navigasyon yapmasını ve çalışmasını mümkün kılar. Klasik görsel-ataletsel navigasyon sistemleri (VINS), belirli senaryolarda ileri düzeyde dog ̆ruluk ve sag ̆lamlık sergiler. Ancak, yukarıda bahsedildiği gibi zor durumlarla karşılaştıklarında, bu sistemlerin performansı olumsuz etkilenir. Dahası, görsel-ataletsel odometri (VIO) algoritmaları, titiz bir s ̧ekilde ayarlanmaz ve uygun s ̧ekilde kalibre edilmezse, yanlış konum hesaplamaları üretebilme eg ̆ilimindedir. Bir ataletsel ölçüm biriminin (IMU) görsel navigasyon hattına entegrasyonu, içsel ve dışsal kalibrasyon prosedürlerini gerektirir. Dog ̆ru kalibrasyonun elde edilememesi veya dış zorlukların ve tasarım hatalarının ele alınmaması, yanlış tahminlere veya sistem hatalarına yol açabilir. Görsel-ataletsel navigasyon sistemlerinin güvenilir ve dog ̆ru performansını sağlamak için kalibrasyon sürecine dikkat edilmelidir. İçsel kalibrasyon, kameranın iç parametrelerini, odak uzaklığı, merkez noktası ve lens distorsiyon katsayıları gibi parametreleri karakterize etmeyi içerir. Bu parametrelerin dog ̆ru s ̧ekilde belirlenmesi, kamera görüntüsünden hassas görsel bilgi çıkarmak için hayati öneme sahiptir. Öte yandan, dışsal parametrelerin kalibrasyonu, kamera ve IMU arasındaki geometrik ilişkiyi belirlemeye odaklanır. Bu kalibrasyon prosedürü, iki sensörün koordinat sistemlerini hizalayan dönüşüm matrisini belirler. Doğru dışsal kalibrasyon, görsel ve ataletsel ölçümlerin dog ̆ru bir s ̧ekilde birleştirilmesi ve hareket tahmin sürecinin bütünlüğünün sağlanması açısından önemlidir. Doğru kalibrasyon elde edilemezse, konum tahmininde önemli hatalar ve navigasyon sorunları ortaya çıkabilir. Yanlış içsel kalibrasyon, görsel verilerde distorsiyon veya hizalanma hatalarına neden olabilir. Bu da yanlış özellik takibine ve konum tahminine yol açabilir. Benzer şekilde, dışsal kalibrasyon hataları, görsel ve ataletsel ölçümler arasında hizalanma hatası oluşturarak, tahmin edilen hareketin doğruluğunu etkileyebilir. Yapay sinir ağlarının ortaya çıkmasıyla birlikte, aras ̧tırmacılar önceden geleneksel yöntemlerle modellenmesi zor olan sorunları yapay zeka ile çözme potansiyelini keşfetmiştir. Derin sinir ağlarının büyük etkisi olan bir alan da bilgisayar ile görüdür. Fotoğraf gibi görsel verilerin karmaşık ve yüksek boyutlu dog ̆ası, derin öğrenme tekniklerinin gücünden yararlanmak için uygun sebeplerdir. Bu alandaki ilk çalışmalardan biri, konum tahmini için tamamen derin sinir ağlarının kullanmayı önermiştir. Bu fikir, derin öğrenme modellerinin çeşitli bilgisayar ile görü uygulamarında etkileyici yetenekler sergilemesi nedeniyle çekici görünmüştür. Bununla birlikte, konum tahmini, geometri ve dinamiğin derinlemesine anlaşılmasını gerektiren son derece doğrusal olmayan ve karmaşık bir problemdir. Bu içsel karmaşıklık, doğru ve güvenilir konum tahmini için yalnızca veriye dayalı öğrenmeye dayanmanın pratik olmadığını göstermektedir. Aras ̧tırmacılar, derin sinir ağlarının gücünü klasik yöntemlerden gelen iyi kurulmuş prensiplerle birleştirerek, tamamen uçtan uca yöntemlerin sınırlamalarını aşan, güvenilir performans sunan ve aşırı durumlarla etkin bir s ̧ekilde bas ̧a çıkan hibrit yaklaşımlar geliştirmeyi başardılar. Bu sürekli kes ̧if ve hibrit metodolojilerin geliştirilmesi, görsel-ataletsel odometri ve konum tahmini alanında daha pratik ve güvenilir çözümlerin yolunu açmaktadır. Bu fikri daha da geliştirmek için, var olan VINS yöntemlerini derin öğrenme teknikleriyle zenginleştirerek, her iki yaklaşımın sağladığı avantajlardan faydalanmayı öneriyoruz. Yaklaşımımızın önemli bir yönü, geleneksel navigasyon yöntemlerinde kullanılan insan tarafından tasarlanmış nokta tespiti algoritmasını derin öğrenmeye dayalı tamamen uçtan uca bir nokta çıkarma tekniği ile değiştirmektir. Bu değişim, derin öğrenme modellerinin önemli noktaları doğrudan sensör verilerinden çıkarabilme yeteneğini kullanmamızı sağlar. Araştırmamızda, önerdiğimiz yaklaşımın etkinliğini değerlendirmek için kapsamlı deneyler ve değerlendirmeler yaptık. Sonuçlar, derin öğrenmeye dayalı nokta çıkarma yöntemini VINS çerçevesine entegre ederek, sistem hızında önemli bir iyileşme elde ettiğimizi ve aynı seviyede doğruluk sağladığımızı gösterdi. Bu gelişme, hesaplama verimliliğinin önemli olduğu gerçek zamanlı uygulamalar için kritik bir öneme sahiptir.

Özet (Çeviri)

In this thesis, our primary objective was to comprehensively investigate and enhance the visual-inertial navigation capabilities of autonomous 3D quadrotor flight, which presents a multitude of challenges when operating in outdoor environments. The successful execution of autonomous flight in such settings necessitates the implementation of a navigation algorithm that is not only highly precise but also exceptionally robust, enabling the quadrotor to safely navigate through a variety of static and dynamic obstacles encountered along its flight path. A critical requirement for addressing this complex problem is the accurate estimation of the agent's ego-motion. While global positioning tools like GPS can offer valuable information for ego-motion estimation, their effectiveness is often limited in challenging scenarios where their signals may be distorted or unavailable. In light of this, we pursued an alternative approach by exploring the fusion of visual and inertial equipment to achieve more reliable and accurate ego-motion estimation. Conventional visual-inertial odometry (VIO) techniques commonly suffer from performance degradation or even complete failure when confronted with the adverse conditions typically encountered in outdoor environments. Factors such as high dynamic range, textureless scenes, motion blur, and rapid motion can pose significant challenges to the accuracy and reliability of traditional VIO methods. To overcome these limitations and enhance the state-of-the-art in visual-inertial navigation systems (VINS), our research focused on the development of innovative techniques that go beyond traditional human-engineered salient point detectors. Instead, we leveraged the power of deep learning-based feature extractors to create a novel hybrid visual-inertial odometry method that exhibits remarkable resilience in the face of the aforementioned harsh conditions. By adopting this approach, we not only achieved a significant improvement in the speed of the conventional algorithm but also witnessed a substantial enhancement in its accuracy and robustness. The integration of deep learning-based feature extractors allowed for more effective identification and tracking of relevant visual features, enabling the system to better handle challenging environmental conditions and dynamic flight maneuvers. Consequently, our proposed method not only offers superior performance in terms of ego-motion estimation but also paves the way for safer navigation in GPS-denied environments where traditional techniques may falter or become unreliable. The outcomes of our research make a substantial contribution to the advancement of autonomous flight systems, providing a more reliable and effective solution for visual-inertial navigation. By successfully addressing the limitations of conventional VIO techniques and improving the overall performance and resilience of visual-inertial navigation systems, we have opened up new possibilities for the deployment of autonomous quadrotors in real-world scenarios that were previously deemed too challenging or risky. The insights gained from our findings have the potential to shape the future development and implementation of autonomous flight technologies, enabling their broader adoption and integration into various industries and applications where precise and robust navigation capabilities are essential.

Benzer Tezler

  1. Tez No

    651756

    Sıft anahtar noktalarını kullanarak ham video bileşenlerinde veri gizleme ve gizli verileri tespit etme

    Hiding data and detecting hidden data in raw video components using sift points

    SAVAŞ ÇITLAK

    Doktora

    Türkçe

    Türkçe

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖZKAN KILIÇ

  2. Tez No

    894524

    Yinelemeli sinir ağları ile işaret dili tanıma

    Sign language recognition with recurrent neural networks

    İBRAHİM ÇETİNKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. TAMER ÖLMEZ

  3. Tez No

    906990

    Spor hareketlerinin derin öğrenme yöntemleri ile analizi

    Analysis of sports movements with deep learning methods

    AHMET ÇELİKEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk Üniversitesi

    Bilişim Teknolojileri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İLKER ALİ ÖZKAN

  4. Tez No

    761163

    Derin öğrenme ve anahtar nokta poz tahminlemesi yöntemiyle insan duruşu tahminlemesi

    Human position prediction by deep learning and keypoint exposure estimation

    HEDİYE NUPELDA KANPAK

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik MühendisliğiDicle Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUHAMMET ALİ ARSERİM

  5. Tez No

    618930

    Performance assessment of physiotherapy and rehabilitation exercises with deep learning

    Derin öğrenme ile fizyoterapi ve rehabilitasyon egzersizleri için performans değerlendirme

    İLHAN AYTUTULDU

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TARKAN AYDIN

Geri Dön