Egomotion estimation by fusing events and depth
Olay ve derinlik füzyonu ile poz tahmini
- Tez No: 826456
- Danışmanlar: DR. ÖĞR. ÜYESİ NAİME ÖZBEN ÖNHON, PROF. DR. GUILLERMO GALLEGO
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Türk-Alman Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Robotlar ve Akıllı Sistemler Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 99
Özet
For a robot to localize itself starts with perceiving its surroundings. Extracting information from the location of a robot helps to create maps, calculate the robot's overall change in position. Visual sensors provide the most meaningful information among other sensors when perceiving the world However, these sensors struggle to extract meaningful information from challenging scenarios, such as an autonomous robot localizing itself in a storage area with a rapidly changing background or an autonomous vehicle exiting a tunnel. This study endows autonomous vehicles with a perception system that will improve operation in challenging scenarios without the need for alternative sensors,(e.g., LIDAR, GPS), thus decreasing costs. Furthermore, this study aims to reduce the injuries and casualties in human-robot interaction. Event cameras offer crucial advantages compared to traditional cameras in the above-mentioned scenarios. Event cameras are sensors that are inspired by nature, that mimic the human eye. Although these sensors are not unusual to robotic perception, techniques for processing the unique output of event cameras in situations such as localization and egomotion estimation are still non-mature. Specifically, this thesis proposes to fuse data from an event camera and a depth camera to perform pose estimation based on computer vision techniques. The aim is to leverage the complementary characteristics of event and depth cameras to build the perception system of an autonomous agent. Event cameras provide high-speed response while depth cameras simplify the estimation of the 3D structure of the scene. The depth camera assists the event camera in providing the third dimension to gather a 3D representation of a scene thereafter these 3D coordinates can be used for pose estimation. The goal is to provide a robust egomotion system so that motion planning and control operations can be reliably performed afterwards. It is intended to compare the characteristics and performance of the proposed approach with other works to advance the understanding of the problem and its solution. A well-known method Iterative Closest Points, that was originally used to match the Point Clouds, has been used. The results of the point cloud matching are transformations, that will match them to each other, between two consecutive point clouds. The output of this point cloud matching can give the path thus, egomotion estimation of the camera. By identifying the advantages and shortcomings via mentioned method this study will guide future developments in this field.
Özet (Çeviri)
Bir robotun kendini konumlandırması, çevresini algılamasıyla başlar. Bir robotun konumundan bilgi çıkarmak, haritalar oluşturmaya, robotun genel konum değişikliğini hesaplamaya yardımcı olur. Görsel sensörler, dünyayı algılarken diğer sensörler içerisinde en anlamlı bilgiyi sağlarlar. Ancak bu sensörler, hızla değişen bir arka plana sahip bir depolama alanında kendini konumlandıran otonom bir robot veya bir tünelden çıkan otonom bir araç gibi zorlu senaryolardan anlamlı bilgiler çıkarmakta zorlanırlar. Bu çalışma, otonom araçlara, alternatif sensörlere (örn., LIDAR, GPS) ihtiyaç duymadan zorlu senaryolarda çalışmayı iyileştirecek ve böylece maliyetleri düşürecek bir algılama sistemi kazandırmaktadır. Ayrıca, bu çalışma insan-robot etkileşimindeki yaralanma ve kayıpları azaltmayı amaçlamaktadır. Olay kameraları, yukarıda belirtilen senaryolarda geleneksel kameralara kıyasla, çok önemli avantajlar sunar. Olay kameraları, doğadan ilham alan, insan gözünü taklit eden sensörlerdir. Bu sensörler, robotik algı için olağandışı olmasa da, konumlandırma ve ego-hareket tahmini gibi durumlarda olay kameralarının benzersiz çıktısını işlemeye yönelik teknikler henüz olgunlaşmamıştır. Spesifik olarak, bu tez, bilgisayarla görme tekniklerine dayalı poz tahmini gerçekleştirmek için bir olay kamerasından ve bir derinlik kamerasından alınan verileri birleştirmeyi önermektedir. Amaç, otonom bir aracının algılama sistemini oluşturmak için olay ve derinlik kameralarının tamamlayıcı özelliklerinden yararlanmaktır. Olay kameraları yüksek hızlı tepki sağlarken, derinlik kameraları sahnenin 3B yapısının tahminini basitleştirir. Derinlik kamerası, olay kamerasının bir sahnenin 3B temsilini toplamak için üçüncü boyutu sağlamasına yardımcı olur, ardından bu 3B koordinatlar poz tahmini için kullanılabilir. Amaç, hareket planlama ve kontrol işlemlerinin daha sonra güvenilir bir şekilde gerçekleştirilebilmesi için sağlam bir ego-hareket sistemi sağlamaktır. Önerilen yaklaşımın özelliklerinin ve performansının, problemin anlaşılmasını ve çözümünü ilerletmek için diğer çalışmalarla karşılaştırılması amaçlanmaktadır. Başlangıçta Nokta Bulutlarını eşleştirmek için kullanılan, iyi bilinen bir yöntem olan Yinelemeli En Yakın Noktalar kullanılmıştır. Nokta bulutu eşleştirmesinin sonuçları, ardışık iki nokta bulutu arasındaki, onları birbirine eşleyebilecek transformasyonlardır. Bu nokta bulutu eşleştirmesinin çıktısı, kameranın ego-hareketinin tahmini yolunu verebilir. Bahsedilen yöntemin avantaj ve eksikliklerini belirlemek yoluyla bu çalışma bu alanda gelecekteki gelişmelere yol gösterecektir.
Benzer Tezler
- A thorough analysis of unsupervised depth and ego-motion estimation
Güdümsüz derinlik ve hareket kestirimi üzerine detaylı bir analiz
ALP EREN SARI
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH AYDIN ALATAN
DOÇ. DR. SİNAN KALKAN
- Deep learning-based keypoints driven visual inertial odometry for GNSS-denied flight
Yapay sinir ağları tabanlı nokta çıkarıcılı görsel-ataletsel odometri ile GPS'siz ortamda uçuş
ARSLAN ARTYKOV
Yüksek Lisans
İngilizce
2023
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Çalışma belleği ve negatif değerlikli duyguların EEG tabanlı kestirim sistemi
EEG based working memory and negative emotional valence estimation system
BORA CEBECİ
Doktora
Türkçe
2021
Biyomühendislikİstanbul Üniversitesi-CerrahpaşaBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. AYDIN AKAN
- Sosyal medya verileri ile duygu analizi
Sentiment analysis with social media data
SEVGİ GÜLÇİN AKTEMUR
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiErciyes ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. MİHRİMAH ÖZMEN