Event camera based pose estimation in stereo visual-inertial odometry with multi-state constraint kalman filter
Çok durum kısıtlı kalman filtresi ile stereo görsel-ataletsel odometride olay kamera temelli poz tahmini
- Tez No: 981319
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, ESS-MSCKF, yani hem stereo gri görüntülerden hem de düzeltilmiş stereo olay temelli kamera görüntülerinden elde edilen öznitelik noktalarını ataletsel ölçümlerle birlikte filtre tabanlı bir çerçevede birleştiren verimli bir olay tabanlı görsel-ataletsel odometri yöntemini tanıtmaktadır. Önerilen yöntem, MSCKF üzerine inşa edilmiştir ve olay temelli kameraların yüksek zamansal çözünürlüğü ile aydınlatma koşullarına dayanıklılığını, geleneksel gri görüntülerin sunduğu mekansal yapı ve kararlılıkla birleştirir. Bu çalışmada ayrıca, odometri çıktılarını ve olay temelli kameraların ölçümlerini kullanarak olay temelli verilerin uzaysal konumlarını düzelten ve GPU üzerinde çalışan bir hareket telafisi algoritması geliştirilmiştir. Bu sayede daha keskin görüntüler elde edilmektedir. Bildiğimiz kadarıyla, bu yöntem filtre kullanılarak geliştirilen ilk stereo olay tabanlı odometri metodudur. Geliştirilen yöntem, MVSEC, HKU, M3ED ve VECtor veri kümelerinde test edilmiş ve güncel yöntemlerle karşılaştırılmıştır. Sonuçlar, algoritmanın karşılaştırılabilir doğruluk sağlarken önemli ölçüde daha düşük hesaplama süresi sunduğunu ve gerçek zamanlı uygulamalar için uygun olduğunu göstermektedir. Ayrıca, yalnızca olay temelli kamera, yalnızca gri kamera ve birleşik konfigürasyonları karşılaştıran çalışmalar, hibrit yaklaşımın farklı koşullarda tutarlı biçimde en iyi performansı verdiğini ortaya koymuştur. Bulgular, düşük ışık, yüksek hız veya yüksek dinamik aralıklı ortamlar için olay temelli kamera verisinin kritik olduğunu, düşük hareketli ve iyi dokulu sahnelerde ise gri görüntülerin daha güvenilir olduğunu göstermektedir.
Özet (Çeviri)
This thesis presents ESS-MSCKF (Event-Supported Stereo Multi-State Constraint Kalman Filter), an efficient stereo visual–inertial odometry pipeline that combines event cameras, conventional grayscale cameras, and an IMU. The system fuses features from stereo grayscale frames and motion-compensated event frames, called Images of Warped Events (IWEs), with inertial data in a filter-based framework. Built on the widely used MSCKF, the proposed method benefits from the high temporal resolution and robustness to brightness changes of event cameras, while also exploiting the spatial structure and stability of traditional images. A key contribution is a GPU-based motion compensation method that warps events to a reference time using odometry estimates. This generates sharp IWEs instead of the blurrier time surfaces typically employed. To the best of our knowledge, ESS-MSCKF is the first stereo event-based odometry pipeline with a filter back-end. We evaluate ESS-MSCKF on diverse datasets, including MVSEC, HKU, M3ED, and VECtor, and benchmark it against state-of-the-art methods. Results show that ESS-MSCKF achieves competitive accuracy while requiring significantly less computation, making it suitable for real-time applications. In addition to other ablation studies, we perform a key comparison of three input configurations—event-only, intensity-only, and hybrid—which demonstrates consistent performance improvements with the hybrid approach. Overall, the findings highlight that event data are crucial for motion estimation in low-light, high-speed, or high dynamic range environments, while grayscale frames provide greater reliability in low-motion and well-textured scenes.
Benzer Tezler
- Olay tabanlı görsel algıya dayalı eş zamanlı konumlandırma ve haritalandırma
Simultaneous localization and mapping based on event based vision
AYKUT GÖRKEM GELEN
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiKaradeniz Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AYTEN ATASOY
- Egomotion estimation by fusing events and depth
Olay ve derinlik füzyonu ile poz tahmini
EBRU SUBUTAY
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTürk-Alman ÜniversitesiRobotlar ve Akıllı Sistemler Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NAİME ÖZBEN ÖNHON
PROF. DR. GUILLERMO GALLEGO
- İsaretçi takibi ile PnP tabanlı 6DoF poz tahminive CFD simülasyon karşılaştırması
PnP-based 6DoF pose estimation with marker trackingand CFD simulation comparison
YUSUF DEMİREL
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET NURİ AKINCI
- İnsan bilgisayar etkileşimi uygulamaları için göz merkezinin belirlenmesi ve kafa pozu tahmini
Eye center localization and head pose estimation for human computer interaction applications
FATİH DURSUN
Yüksek Lisans
Türkçe
2020
Mekatronik MühendisliğiBursa Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN GELEN
- 4 eksenli endüstriyel robot kol tasarımı ve görüntü işleme destekli kontrolü
Design and image processing supported control of a 4-axis industrial robot arm
SERHAT SAVAŞ TURHAN
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiIsparta Uygulamalı Bilimler ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. OKAN BİNGÖL