Yinelemeli stereo kamera ve lidar füzyonu kullanılarak derinlik tahmininin iyileştirilmesi
Enhancing depth estimation with iterative stereo camera and lidar fusion
- Tez No: 1005473
- Danışmanlar: DOÇ. DR. İSMAİL UYANIK
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Otonom sistemlerin çevreyi doğru algılayabilmesi ve güvenilir navigasyon kararları verebilmesi için derinlik bilgisinin yüksek doğrulukta ve yeterli çözünürlükte elde edilmesi kritik bir gereksinimdir. Çevreyi algılamada kullanılan stereo kameralar, yoğun (piksel seviyesinde) derinlik haritaları üretebilmelerine rağmen gürültüye, doku yetersizliğine ve nesne sınırlarında tutarsızlıklara açıktır. LiDAR sensörleri ise daha yüksek doğrulukta fakat seyrek ölçümler sağlar. Bu iki algılayıcının tamamlayıcı yapısı sensör füzyonu için güçlü bir fırsat sunarken, farklı çözünürlükte ve farklı örnekleme dağılımındaki verilerin ortak bir geometri üzerinde birleştirilmesi teknik olarak zorlu bir problemdir. Son yıllarda derin öğrenme tabanlı Stereo kamera ve LiDAR füzyonu yöntemleri yaygınlaşsa da bu yöntemlerin yüksek hesaplama maliyeti ve etiketli veri gereksinimi, derin öğrenme yöntemlerinin gömülü ve gerçek zamanlı otonom platformlarda uygulanabilirliği sınırlamaktadır. Bu tezde, eğitim gerektirmeyen ve deterministik bir yapıda çalışan Papoulis–Gerchberg (PG) algoritmasına dayalı yinelemeli bir Stereo kamera ve LiDAR füzyon yöntemi önerilmektedir. Önerilen yöntemin işlem maliyeti de derin öğrenme yöntemlerine göre oldukça düşüktür. Literatürde çoğunlukla sinyal tamamlama ve süper çözünürlük problemlerinde kullanılan PG yaklaşımı, bu çalışmada stereo derinlik haritalarının LiDAR ölçümleri ile iyileştirilmesi amacıyla yeniden yapılandırılmıştır. Önerilen çerçevede LiDAR ölçümleri ankraj noktaları olarak kullanılmakta stereo derinlik haritası ise bu noktalara göre yinelemeli biçimde güncellenmektedir. Böylece, LiDAR'ın yüksek doğruluklu derinlik bilgisi ile stereo derinlik haritasının yüksek yoğunluklu yapısı iteratif iyileştirme sürecinde birleştirilmektedir. Yöntemin başarımı, hem gerçek sensör verisi hem de farklı saha koşullarını temsil eden veri setleri üzerinde kapsamlı biçimde değerlendirilmiştir. Bu amaçla ZED stereo kamera, Velodyne VLP16 LiDAR ve NVIDIA Jetson Orin bileşenlerinden oluşan taşınabilir bir sensör platformu kurulmuştur. Titreşim ve hareket etkilerini gözlemlemek için sensör platformu (SensorSuiteV2) bir otomobil üzerine entegre edilerek saha verisi toplanmıştır. Hem toplanılan hem de özdeş veri tiplerine sahip açık kaynaklı CitrusFarm veri bankası üzerinde PG ön işlemeli ve ön işlemesiz akışlar karşılaştırılmıştır. Derinlik haritası kalitesi ile navigasyon/haritalama performansına yansıyan etkiler çevrim dışı metriklerle analiz edilmiştir. Elde edilen bulgular, önerilen PG tabanlı Stereo kamera ve LiDAR füzyon yönteminin derin öğrenmeye ihtiyaç duymadan düşük işlem maliyetiyle çalışabilen ve gerçek zamanlı sistemlere uyarlanabilir bir derinlik iyileştirme yaklaşımı sunduğunu göstermektedir.
Özet (Çeviri)
Accurate and sufficiently high-resolution depth information is a critical requirement for autonomous systems to perceive their environment reliably and make robust navigation decisions. Although stereo cameras can produce dense (per-pixel) depth maps, they are susceptible to noise, texture deficiency, and inconsistencies around object boundaries. LiDAR sensors, on the other hand, provide more accurate yet sparse measurements. While the complementary nature of these sensors presents a strong opportunity for sensor fusion, combining data with different resolutions and sampling distributions on a common geometry remains technically challenging. In recent years, deep learning-based stereo camera and LiDAR fusion methods have become widespread; however, their high computational cost and reliance on labeled data limit their practicality on embedded, real-time autonomous platforms. This thesis proposes an iterative stereo camera and LiDAR fusion method based on the Papoulis–Gerchberg (PG) algorithm, which operates deterministically and does not require training. The computational cost of the proposed method is also significantly lower than that of deep learning approaches. Although the PG method is commonly used in the literature for signal completion and super-resolution problems, it is restructured in this study to enhance stereo depth maps using LiDAR measurements. In the proposed framework, LiDAR measurements are used as anchor points, and the stereo depth map is iteratively updated with respect to these anchors. In this way, the high-accuracy depth information provided by LiDAR and the high-density structure of stereo depth maps are combined through an iterative refinement process. The performance of the method is comprehensively evaluated using both real sensor data and datasets representing different field conditions. For this purpose, a portable sensor platform consisting of a ZED stereo camera, a Velodyne VLP16 LiDAR, and an NVIDIA Jetson Orin is built. To observe the effects of vibration and motion, the sensor platform (SensorSuiteV2) is integrated onto a vehicle and field data are collected. Both the collected data and the open-source CitrusFarm dataset—sharing identical data modalities—are used to compare pipelines with and without PG preprocessing. The impact on depth map quality and downstream navigation/mapping performance is analyzed using offline metrics. The findings demonstrate that the proposed PG-based stereo camera and LiDAR fusion method provides a low-cost depth enhancement approach that works without deep learning and can be adapted to real-time systems.
Benzer Tezler
- Integration of inertial navigation system and camera with geo-referenced based photos
Aletsel navıgasyon sıstemı ve kameranın coğrafı referanslı tabanlı fotoğraflarla entegrasyonu
STEVEN MASENGESHO
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTürk Hava Kurumu ÜniversitesiMakine ve Uçak Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. HABİB KANBEROĞLU
- Estimation of position and orientation with visual odometry for ground vehicles
Kara araçları için görsel odometri yöntemi ile pozisyon ve duruş tahmini
BURAK ALİ ARSLAN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- Multi-modal stereo-vision using infrared/visible camera pairs
Görünür ve kızılötesi kamera çiftleri kullanarak çoklu biçimli steryo görme
MUSTAFA YAMAN
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SİNAN KALKAN
- Seyirci ve bir anlamlama süreci olarak sinema
The Viewer and cinema as a signification process
NEZİH ERDOĞAN
- Development of an iterative learning controller for polymer based micro-stereolithography prototyping systems
Polimer bazlı mikro-stereolitografi sistemleri için yinelemeli öğrenme denetimi algoritması geliştirilmesi
ERKAN BUĞRA TÜREYEN
Yüksek Lisans
İngilizce
2016
Makine Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MELİH ÇAKMAKCI
