Geri Dön

Estimation of position and orientation with visual odometry for ground vehicles

Kara araçları için görsel odometri yöntemi ile pozisyon ve duruş tahmini

PDF İndir

  1. Tez No: 921997
  2. Yazar: BURAK ALİ ARSLAN
  3. Danışmanlar: PROF. DR. FİKRET ÇALIŞKAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 107

Özet

Seyrüsefer teknolojileri, karasal, denizcilik, hava veya dünya dışı alanlarda uygulanabilen, bir konumdan diğerine seyahati tespit etmek ve yönlendirmek için kullanılan sistemleri, araçları ve metodolojileri içerir. Bu teknolojiler, doğal sinyallere dayanan ilkel tekniklerden çok karmaşık dijital sistemlere doğru evrimleşerek önemli ölçüde gelişmiştir. Navigasyon teknolojisinin kökenleri M.Ö. 3000'li yıllara kadar uzanmaktadır. Navigasyon teknolojisinin ilk örnekleri göksel gözlem ve kuş takibiydi. Günümüzde, Küresel Navigasyon Uydu Sistemleri (GNSS) ve Ataletsel Navigasyon Sistemleri (INS) neredeyse tüm otonom teknolojilerde yaygın olarak kullanılmaktadır. Bununla birlikte, uydu tabanlı navigasyon ve atalet sistemlerinin kendine özgü zorlukları vardır. Bu nedenle, bu sistemlere eşlik edecek veya alternatif olacak bir sistem, insansız platformlar için navigasyon teknolojisinde çok yönlülük sağlayabilir. Görsel odometri, bir aracın konumunu ve hareketini çevresini inceleyerek ve görsel verileri kullanarak belirleyen bir yöntemdir. Bu teknik genellikle robotik, otonom araçlar, insansız hava araçları (İHA'lar) ve artırılmış gerçeklik uygulamalarında kullanılır. Geleneksel odometri tekniklerinin aksine görsel odometri, tekerlek kodlayıcıları veya ivmeölçerler gibi fiziksel sensörlere dayanmak yerine kameralar gibi görsel sensörlerden elde edilen resim verilerini kullanarak ölçümleri hesaplar. Görsel odometrinin detaylarına geçmeden önce görüntü oluşturmadan bahsetmek gerekmektedir. Görüntü oluşturma, bir sahnenin veya nesnenin fiziksel özelliklerinin optik ve algılayıcı sistemler aracılığıyla bir görüntüye dönüştürülmesi sürecidir. Bu süreç, hem doğal görme sistemlerinde (örneğin, insan gözü) hem de yapay sistemlerde (örneğin, kameralar, mikroskoplar) temel bir bileşendir. Görüntü oluşturma, ışığın nesnelerle etkileşimini, bu ışığın algılayıcılar tarafından yakalanmasını ve dijital ya da analog bir görüntüye dönüştürülmesini içerir. Optik sistemlerde görüntü oluşturma süreci yansıyan veya yayılan ışık, bir optik sistem (lens veya ayna) tarafından yönlendirilmesi ve ardından optik sistemin ışığı odaklayarak nesnenin bir görüntüsünü oluşturmasıyla tamamlanır. Bu oluşumun temelini açıklayan basit matematiksel modele de Pinhole Kamera Modeli denir. Bu model, nesneden gelen ışığın, küçük bir delikten geçerek bir görüntü düzlemi üzerine düşmesini tanımlar. Model, kamera sistemlerini anlamak ve analiz etmek için temel bir başlangıç noktasıdır ve genellikle bilgisayarla görme uygulamalarında kullanılır. Perspektif projeksiyon, üç boyutlu (3D) bir sahneyi iki boyutlu (2D) bir düzleme (örneğin bir kamera sensörüne veya ekrana) dönüştürme yöntemidir. Bu projeksiyon, nesnelerin boyutlarının ve konumlarının, gözlemciye olan uzaklıklarına göre değişmesini sağlar. Perspektif projeksiyon sayesinde, daha uzaktaki nesneler daha küçük, daha yakındaki nesneler ise daha büyük görünür. Bu, gerçek dünyadaki derinlik algısını yansıtan bir görüntü oluşturur. Bir noktanın gerçek dünyadan piksel koordinatlarına dönüştürülmesi, kameranın konumu ve yönü hesaba katılarak noktanın 3B konumunun kameranın perspektifine çevrilmesini içerir. Bu nokta daha sonra gölge düşürmeye benzer şekilde kameranın düz görüntü düzlemine yansıtılır ve kameranın yakınlaştırma ve lens özellikleri gibi özel ayarları kullanılarak ayarlanır. Son olarak, sonuç görüntü üzerinde bir piksel konumu olarak ifade edilir ve noktanın yakalanan görünümde nerede göründüğünü gösterir. Kamera kalibrasyonu, bir kameranın iç (intrinsik) ve dış (ekstrinsik) parametrelerini belirleme sürecidir. Intrinsik parametreler, kameranın odak uzaklığı, görüntü merkezi (optik eksen) ve lensin neden olduğu bozulmalar gibi özelliklerini içerir. Ekstrinsik parametreler ise kameranın dünya koordinat sistemine göre pozisyonu ve yönelimini tanımlayan dönüşüm ve çevrim matrislerinden oluşur. Kalibrasyon işlemi genellikle, bilinen bir desene (örneğin bir satranç tahtası) ait görüntülerin analiziyle yapılır. Bu süreç, 3D dünyadaki noktaları 2D görüntü düzlemine doğru bir şekilde eşleştirmek ve lens bozulmalarını düzeltmek için gereklidir. Kamera kalibrasyonu, bilgisayarlı görü ve görüntü işleme uygulamalarında hassas ölçümler ve nesne tanıma işlemleri için kritik bir adımdır. Görsel odometri temel olarak üç bölüme ayrılır. Bunlar kamera kullanımı, kamera konumlandırması ve kullanılan metodolojidir. İlk kategori daha sonra kamera kullanımına göre üç türe ayrılır: monoküler, stereo ve çok yönlü. Kamera konumlandırması üç türe ayrılır: öne bakan, aşağı bakan ve açılı bakan. Yaklaşım üç türe ayrılır: doğrudan, dolaylı ve hibrit olarak. Görsel girdiye dayalı olarak, tek bir hareketli kameranın veya bir stereo kafanın hareketini tahmin edebilen bir sistem sunuyoruz. Sistem, navigasyon için hareket tahminlerini kullanarak minimum gecikmeyle gerçek zamanlı olarak çalışır. Sistemin ön ucu bir özellik izleyicidir. Nokta özellikleri kare çiftleri arasında ilişkilendirilir ve video hızında resim yörüngelerine bağlanır. Kamera hareketinin doğru tahminleri, geometrik bir hipotez ve test çerçevesi kullanılarak özellik izlerinden üretilir. Bu, görsel odometri olarak adlandırılan şeyi üretir, yani yalnızca görsel girdiden türetilen hareket tahminleri. Senaryoya veya harekete önceden aşina olmak gerekmez. Görsel odometri küresel konumla sistemi, atalet sensörleri ve tekerlek kodlayıcıları gibi çeşitli kaynaklardan gelen verilerle birlikte kullanılabilir. Duruş tahmini tekniği hava, araç ve el platformlarından çekilen videolarda etkili bir şekilde kullanılmıştır. Otonom bir karasal araç ile elde edilen sonuçları vurguluyoruz. Şimdiye kadar bilinmeyen mesafeler ve süreler boyunca yalnızca resimlerden çıkarılan kamera yörüngelerinin örneklerini sunuyoruz. Görsel odometriye geçmeden önce görüntü işlemenin temelleri hakkında biraz konuşmak gerekecektir. Görüntü işlemenin ilk aşaması, kameralar, sensörler veya diğer cihazlar tarafından görüntü alınmasıyla başlar. Bu işlem görüntü alımı olarak bilinir ve elde edilen görüntü gri tonlamalı, renkli veya çok spektral formatlarda olabilir. Ön işleme aşamasında görüntü kalitesi artırılır ve analiz için hazır hale getirilir. Bu adımların ardından sırasıyla şunlar yapılır: Özellik işleme, görüntülerden farklı özelliklerin tanımlanması, eşleştirilmesi ve kullanılmasını içerir. Bu işlemler, nesne takibi veya hareket tahmini gibi daha ileri işlemleri destekler. Özellik tespiti, Harris Köşe Algılayıcı veya ölçekle değişmeyen özellik dönüşümü gibi algoritmalar kullanılarak görüntülerdeki köşeler, kenarlar veya ilgi alanları gibi ayırt edici unsurların bulunmasını içerir. Daha sonraki işlemler bu özelliklerden kaynaklanır. Özellik eşleştirmesi, birden fazla çerçeve veya görüntü arasında özellikler arasındaki ilişkiyi tanımlar. Bu tür eşleştirmeler aykırı değerler elde etmek için benzerlik metrikleri ve en yakın komşu eşleştirme veya RANSAC gibi algoritmalar kullanır. Özellik seçimi, hesaplama verimliliğini artırmak ve gürültüyü azaltmak için en iyi özellikleri seçmektir. Bu, özelliklerin kalite veya uzamsal dağılımına göre sıralanması gibi yöntemler olabilir. Özellik takibi, özelliklerin ardışık çerçeveler boyunca izlenmesini ve zamansal tutarlılığı garanti etmeyi amaçlar. Lucas-Kanade gibi optik akış algoritmaları, özelliklerin zaman içindeki hareketlerini izlemek için yaygın olarak kullanılmaktadır. Özellik işlemenin özeti, yüksek kaliteli özelliklerin çıkarıldığı ve sürdürüldüğü bir yöntem oluşturur. Bu yöntem, hareket tahmini ve nesne tanıma gibi uygulamalarda kullanılmak üzere tespit, eşleştirme, seçim ve takip tekniklerini içerir. Bir görsel odometri sisteminde, hareket tahmini her görüntü için gerçekleştirilen çok önemli bir işlemdir. Bunu yapmak için, özellik karşılıklarının iki veya üç boyutlu olarak sağlanmasına bağlı olarak üç farklı yöntem vardır. Bunlardan ilki sekiz nokta kullanarak 2D-2D yazışmalarından kamera hareketini tahmin etmek için bir yaklaşım sunulurken, ikinci olarak beş karşılık gelen noktaya dayalı iki kalibre edilmiş görünüm arasındaki göreli kamera konumunu belirlemek için etkili bir algoritmik çözüm tanımlamaktadır. 3D-2D yazışmalarını kullanarak hareket tahmini için perspektif-n-noktadan (PnP) sorununa bir çözüm sunmaktadır. 3D-2D tekniğinde, sonraki karenin 2D özellik konumlarının gözlemlenenlere yakından benzemesini garanti etmek için kareler arasında bir dönüşüm hesaplanır. Yeniden projeksiyon tarafından üretilen hatanın büyüklüğü azaltılır. 3D'den 2D'ye algoritmalar noktaları her adımda yalnızca bir kez üçgenleştirerek zaman içinde daha az hata birikmesine yol açar. Perspektif-Üç-Nokta (P3P) sorununa kapalı formda bir çözüm sunarak kameranın konumunu ve yönünü tek bir adımda belirlerken sayısal kararlılığı artırır ve önceki tekniklere göre hesaplama maliyetini önemli ölçüde azaltır. Buna karşılık, ayrı bir yöntem olarak, yedinci dereceden bir polinom kullanarak Perspektif-n-Nokta (PnP) sorunu için yinelemesiz bir çözüm sunmakta, esneklik, yinelemeli tekniklere benzer doğruluk ve kapsamlı nokta koleksiyonlarının verimli yönetimini sergilemektedir. Üçüncü teknik (3D-3D), ilk genel yöntem (2D-2D) tarafından kullanılan düzlemsel yaklaşımın aksine hareket tahminine uzamsal bir yaklaşım benimseyerek yalnızca üç boyutta eklemlenen özellik noktası yazışmalarını kullanır. Bu yöntem, kalibre edilmiş kameraların stereoskopik özelliklerini kullanarak iki boyutlu resimlerin konumlarını üçgenleştirerek 3D yapısal karşılıkların tanımlanmasını kolaylaştırdığı için stereo görsel odometri için etkilidir. Tekil değer ayrıştırması kullanılarak bir en küçük kareler çözümü önermektedir. Bu algoritmalarda veri bozulmasından kaynaklanan rotasyon matrisindeki ve yansımasındaki potansiyel yanlışlıklar nedeniyle, benzerlik dönüşümü parametrelerine kesin bir çözüm sunan ve veri bozulmasına rağmen doğru dönüşümü garanti eden bir teorem geliştirilmiştir. Bu makale, özellik seçimi ve izleme kullanarak hızlı ve esnek stereo görsel odometri için benzersiz bir yaklaşım sunmaktadır. Sürüklenmenin azaltılması, sabit özelliklerin bir alt kümesinin titizlikle seçilmesine ve bunların çerçeveler boyunca izlenmesine dayanır. İki ardışık çerçeve arasında hareket tahmini yapmak için iki temel yöntem kullanılır. Beş nokta algoritması kullanılarak, temel matris hesaplanıp, kamera iç parametreleriyle birlikte dönüş ve öteleme bileşenleri ayrıştırılır. PnP algoritmasında ise, önceki çerçevedeki 3D dünya noktaları, yeni çerçevedeki 2D görüntü noktaları ile eşleştirilerek kamera hareketi hesaplanır. Bu çalışmada, önerilen yöntemin geliştirilmesi sürecinde, literatürde yer alan ilk yöntemlerden biri olan monocular visual odometry yöntemi ile klasik stereo odometry yöntemi temel alınmıştır. Bu kapsamda, KITTI veri setleri üzerinde gerçekleştirilen performans analizleri ile her iki yöntemin karşılaştırmalı değerlendirmesi yapılmıştır. Elde edilen sonuçlar, önerilen yöntemin mevcut yaklaşımlar karşısındaki avantajlarını ve dezavantajlarını ortaya koymayı amaçlamaktadır. Bu bağlamda, detaylı analizler ve karşılaştırmalar sunularak literatüre katkı sağlanmıştır.

Özet (Çeviri)

Navigation technologies include the systems, instruments, and methodologies used to ascertain and direct travel from one position to another, applicable across terrestrial, maritime, aerial, or extraterrestrial domains. These technologies have advanced considerably, evolving from rudimentary techniques reliant on natural signals to very complex digital systems. The origins of navigation technology date back to as early as 3000 BC. The first instances of navigation technology were celestial observation and avian tracking. In contemporary times, Global Navigation Satellite Systems (GNSS) and Inertial Navigation Systems (INS) are extensively used in almost all autonomous technologies. Nevertheless, satellite-based navigation and inertial systems have inherent challenges. Hence, a companion or alternative to these systems may provide versatility in navigational technology for unmanned platforms. Based on visual input, we offer a system that can estimate the motion of a single moving camera or a stereo head. The system functions in real-time with minimal latency, using motion estimations for navigation. The system's front end is a feature tracker. Point characteristics are correlated between frame pairs and connected into picture trajectories at video rate. Accurate estimations of camera motion are generated from the feature tracks using a geometric hypothesize-and-test framework. This produces what is termed visual odometry, meaning motion estimations derived only from visual input. Prior to discussing the intricacies of visual odometry, it is essential to address the process of picture generation. Image generation is the process of transforming the physical characteristics of a scene or object into an image using optical and sensor systems. This mechanism is an essential element in both natural vision systems (e.g., the human eye) and artificial systems (e.g., cameras, microscopes). In optical systems, the image generation process concludes when reflected or emitted light is directed by an optical component (such as a lens or mirror), which then focuses the light to create an image of the object. The fundamental mathematical framework elucidating this process is referred to as the Pinhole Camera Model. This model delineates the behavior of light emanating from an object as it traverses a tiny aperture and then projects onto an image plane. The model serves as a fundamental foundation for comprehending and evaluating camera systems. No prior knowledge of the situation or the movement is necessary. Visual odometry may be used with data from several sources, like global positioning system, inertial sensors, and wheel encoders. The posture estimate technique has been effectively used in video captured from aerial, vehicular, and handheld platforms. We emphasize outcomes with an autonomous ground vehicle. We provide instances of camera trajectories inferred only from images over hitherto unknown distances and durations. The article introduces a unique approach for rapid and resilient stereo visual odometry using feature selection and tracking (SOFT). The mitigation of drift relies on the meticulous selection of a subset of stable characteristics and their monitoring over the frames. Two fundamental strategies are used to estimate motion between two successive frames. The five-point approach is used to compute the essential matrix, from which the rotation and translation components, together with the camera intrinsic parameters, are extracted. The PnP method determines camera motion by correlating 3D world points from the preceding frame with 2D picture points from the current frame.

Benzer Tezler

  1. Tez No

    517298

    Kapalı ortamlarda yerelleştirme ve haritalama için sensör füzyonu

    Sensor fusion for gps denied environment for localization and mapping

    HÜSEYİN BURAK KURT

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Makine Ana Bilim Dalı

    DOÇ. DR. ERDİNÇ ALTUĞ

  2. Tez No

    638483

    Kamera görüntülerinden otonom bir aracın konumunun ve yönünün belirlenmesi

    Determining the position and orientation of an autonomous vehicle from the camera images

    NURGÜNEŞ ÖNAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Elektrik ve Elektronik MühendisliğiAtatürk Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. BÜLENT ÇAVUŞOĞLU

  3. Tez No

    826958

    Mobil platformlar için dinamik konum verisinin elde edilmesinde farklı veri türlerinin entegrasyonunun araştırılması

    Investigating the integration of different data types in the acquisition of dynamic positioning data for mobile platforms

    MERT GÜRTÜRK

    Doktora

    Türkçe

    Türkçe

    2023

    Jeodezi ve FotogrametriYıldız Teknik Üniversitesi

    Harita Mühendisliği Ana Bilim Dalı

    PROF. DR. METİN SOYCAN

  4. Tez No

    512179

    Mobile robot odometric localization using decentralized kalman filter

    Dağıtık kalman filtresi kullanılarak mobil robot odometrik konumlandırması

    N'DJADJO ROMUALD KOUAKOU

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Elektrik ve Elektronik MühendisliğiSakarya Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. AŞKIN DEMİRKOL

  5. Tez No

    761644

    İnsansız sualtı gözlem aracına otonom özellikler kazandırılarak nesne takibi ve deneysel uygulaması

    Object tracking and experimental application by gaining autonomous features to the unmanned underwater observation vehicle

    RECEP FATİH CANTEKİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolZonguldak Bülent Ecevit Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SEDA KARTAL

Geri Dön