Geri Dön

Egomotion estimation by fusing events and depth

Olay ve derinlik füzyonu ile poz tahmini

  1. Tez No: 826456
  2. Yazar: EBRU SUBUTAY
  3. Danışmanlar: DR. ÖĞR. ÜYESİ NAİME ÖZBEN ÖNHON, PROF. DR. GUILLERMO GALLEGO
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Türk-Alman Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Robotlar ve Akıllı Sistemler Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 99

Özet

For a robot to localize itself starts with perceiving its surroundings. Extracting information from the location of a robot helps to create maps, calculate the robot's overall change in position. Visual sensors provide the most meaningful information among other sensors when perceiving the world However, these sensors struggle to extract meaningful information from challenging scenarios, such as an autonomous robot localizing itself in a storage area with a rapidly changing background or an autonomous vehicle exiting a tunnel. This study endows autonomous vehicles with a perception system that will improve operation in challenging scenarios without the need for alternative sensors,(e.g., LIDAR, GPS), thus decreasing costs. Furthermore, this study aims to reduce the injuries and casualties in human-robot interaction. Event cameras offer crucial advantages compared to traditional cameras in the above-mentioned scenarios. Event cameras are sensors that are inspired by nature, that mimic the human eye. Although these sensors are not unusual to robotic perception, techniques for processing the unique output of event cameras in situations such as localization and egomotion estimation are still non-mature. Specifically, this thesis proposes to fuse data from an event camera and a depth camera to perform pose estimation based on computer vision techniques. The aim is to leverage the complementary characteristics of event and depth cameras to build the perception system of an autonomous agent. Event cameras provide high-speed response while depth cameras simplify the estimation of the 3D structure of the scene. The depth camera assists the event camera in providing the third dimension to gather a 3D representation of a scene thereafter these 3D coordinates can be used for pose estimation. The goal is to provide a robust egomotion system so that motion planning and control operations can be reliably performed afterwards. It is intended to compare the characteristics and performance of the proposed approach with other works to advance the understanding of the problem and its solution. A well-known method Iterative Closest Points, that was originally used to match the Point Clouds, has been used. The results of the point cloud matching are transformations, that will match them to each other, between two consecutive point clouds. The output of this point cloud matching can give the path thus, egomotion estimation of the camera. By identifying the advantages and shortcomings via mentioned method this study will guide future developments in this field.

Özet (Çeviri)

Bir robotun kendini konumlandırması, çevresini algılamasıyla başlar. Bir robotun konumundan bilgi çıkarmak, haritalar oluşturmaya, robotun genel konum değişikliğini hesaplamaya yardımcı olur. Görsel sensörler, dünyayı algılarken diğer sensörler içerisinde en anlamlı bilgiyi sağlarlar. Ancak bu sensörler, hızla değişen bir arka plana sahip bir depolama alanında kendini konumlandıran otonom bir robot veya bir tünelden çıkan otonom bir araç gibi zorlu senaryolardan anlamlı bilgiler çıkarmakta zorlanırlar. Bu çalışma, otonom araçlara, alternatif sensörlere (örn., LIDAR, GPS) ihtiyaç duymadan zorlu senaryolarda çalışmayı iyileştirecek ve böylece maliyetleri düşürecek bir algılama sistemi kazandırmaktadır. Ayrıca, bu çalışma insan-robot etkileşimindeki yaralanma ve kayıpları azaltmayı amaçlamaktadır. Olay kameraları, yukarıda belirtilen senaryolarda geleneksel kameralara kıyasla, çok önemli avantajlar sunar. Olay kameraları, doğadan ilham alan, insan gözünü taklit eden sensörlerdir. Bu sensörler, robotik algı için olağandışı olmasa da, konumlandırma ve ego-hareket tahmini gibi durumlarda olay kameralarının benzersiz çıktısını işlemeye yönelik teknikler henüz olgunlaşmamıştır. Spesifik olarak, bu tez, bilgisayarla görme tekniklerine dayalı poz tahmini gerçekleştirmek için bir olay kamerasından ve bir derinlik kamerasından alınan verileri birleştirmeyi önermektedir. Amaç, otonom bir aracının algılama sistemini oluşturmak için olay ve derinlik kameralarının tamamlayıcı özelliklerinden yararlanmaktır. Olay kameraları yüksek hızlı tepki sağlarken, derinlik kameraları sahnenin 3B yapısının tahminini basitleştirir. Derinlik kamerası, olay kamerasının bir sahnenin 3B temsilini toplamak için üçüncü boyutu sağlamasına yardımcı olur, ardından bu 3B koordinatlar poz tahmini için kullanılabilir. Amaç, hareket planlama ve kontrol işlemlerinin daha sonra güvenilir bir şekilde gerçekleştirilebilmesi için sağlam bir ego-hareket sistemi sağlamaktır. Önerilen yaklaşımın özelliklerinin ve performansının, problemin anlaşılmasını ve çözümünü ilerletmek için diğer çalışmalarla karşılaştırılması amaçlanmaktadır. Başlangıçta Nokta Bulutlarını eşleştirmek için kullanılan, iyi bilinen bir yöntem olan Yinelemeli En Yakın Noktalar kullanılmıştır. Nokta bulutu eşleştirmesinin sonuçları, ardışık iki nokta bulutu arasındaki, onları birbirine eşleyebilecek transformasyonlardır. Bu nokta bulutu eşleştirmesinin çıktısı, kameranın ego-hareketinin tahmini yolunu verebilir. Bahsedilen yöntemin avantaj ve eksikliklerini belirlemek yoluyla bu çalışma bu alanda gelecekteki gelişmelere yol gösterecektir.

Benzer Tezler

  1. A thorough analysis of unsupervised depth and ego-motion estimation

    Güdümsüz derinlik ve hareket kestirimi üzerine detaylı bir analiz

    ALP EREN SARI

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ABDULLAH AYDIN ALATAN

    DOÇ. DR. SİNAN KALKAN

  2. Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight

    Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş

    ARSLAN ARTYKOV

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Uçak Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DOÇ. DR. EMRE KOYUNCU

  3. Ego noise estimation for robot audition

    Başlık çevirisi yok

    GÖKHAN İNCE

    Doktora

    İngilizce

    İngilizce

    2011

    Makine MühendisliğiTokyo Institute of Technology

    PROF. JUNİCHİ IMURA

  4. Çalışma belleği ve negatif değerlikli duyguların EEG tabanlı kestirim sistemi

    EEG based working memory and negative emotional valence estimation system

    BORA CEBECİ

    Doktora

    Türkçe

    Türkçe

    2021

    Biyomühendislikİstanbul Üniversitesi-Cerrahpaşa

    Biyomedikal Mühendisliği Ana Bilim Dalı

    PROF. DR. AYDIN AKAN

  5. Sosyal medya verileri ile duygu analizi

    Sentiment analysis with social media data

    SEVGİ GÜLÇİN AKTEMUR

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Endüstri ve Endüstri MühendisliğiErciyes Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MİHRİMAH ÖZMEN