LiDAR based ground plane estimation, hybrid visual-LiDAR odometry and navigation of autonomous trucks
Otonom maden sahası kamyonları için zemin düzlemi tahmini, hibrit görsel-LiDAR odometri ve navigasyon sistemi
- Tez No: 929626
- Danışmanlar: PROF. DR. MUSTAFA ÜNEL
- Tez Türü: Doktora
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 108
Özet
Otonom kamyonlar, şoför eksikliği, operasyonel güvenlik ve verimlilik gibi zorlukları ele almayı hedefledikleri için büyük ilgi görmektedir. Bu sistemlerin pratik ve finansal faydalarından yararlanmak amacıyla hem endüstri hem de akademi, otonom kamyon teknolojilerinin uygulamalarına giderek daha fazla odaklanmaktadır. Bu teknolojilerin temel kullanım alanlarından biri, kamyonların dinamik ve engebeli arazilerde çalışmak zorunda olduğu maden sahası operasyonlarıdır. Bu ortamların doğal özellikleri, robotik sistemler için yeni zorluklar ortaya çıkarmakta ve bu zorlukların üstesinden gelmek için yenilikçi araştırmalar gerekmektedir. Bu tez, robotik alanındaki temel sorunlardan birkaçına odaklanmaktadır: zemin düzlemi ve katedilebilirlik tahmini, hareket planlama ve kontrol, ile lokalizasyon. Bu konular geniş kapsamlı olup, geçmişte bu alanlarda birçok araştırma yapılmıştır. Bu tezde, mevcut çalışmalardan farklı olarak yenilikçi yaklaşımlar sunulmaktadır. Özellikle, arazinin benzersiz özelliklerine göre adapte olabilir şekilde düzenlenen bir polar ızgara temsili önerilmektedir. Bu adapte olabilir temsil, kamyon dinamikleri ve boyutlarına özel olarak tasarlanmış katedilebilirlik tahmini ile birleştirildiğinde, çevrenin daha doğru bir şekilde modellenmesini sağlayarak daha güvenli hareket planlamasına olanak tanımaktadır. Ayrıca, bu tezde maden sahası operasyonlarında kullanılan otonom kamyonlar için bir sistem mimarisi tasarımı sunulmaktadır. GPENS olarak adlandırılan bu sistem, noktadan noktaya navigasyonun yanı sıra yükleme ve boşaltma alanlarında geri manevralar yapmak için gereken temel modülleri içermektedir. GPENS algılama, lokalizasyon, planlama ve kontrol modüllerini içermektedir. Algılama modülü, zemin düzlemi ve katedilebilirlik tahminine ek olarak, güvenli sürüş rotalarını tanımlamak için yol sınırı algılamayı da içerir. Önerilen algoritmaların etkinliğini doğrulamak için gerçek bir maden ortamında çalışan çekici-dorse üzerinden alınan bir veri seti oluşturulmuştur. Zemin düzlemi ve katedilebilirlik tahmin çözümümüz, rakip algoritmalara kıyasla doğruluğu %2 oranında artırmaktadır. Maden sahası kamyonları için hareket planlaması çözümü genellikle asfalt yol çözümlerden uyarlanabilir. Ancak, yükleme ve boşaltma alanlarında çekici-dorsenin geri manevra yapması gerekli olduğunda büyük bir zorluk ortaya çıkar. Navigasyon ve park planlayıcıları arasındaki etkin koordinasyon, park takipçisinin en iyi şekilde performans göstermesi için kritik öneme sahiptir. Çekici-dorse kombinasyonunun geri manevrası doğası gereği kararsız bir problemdir. Bu çalışmada, önerilen planlayıcı algoritmalar çevrimdışı şekilde çalışarak manevra değiştirme noktalarının tespiti amaçlanmıştır. Tespit edilen rotalar, kontrolcü ve geometrik takipçi yaklaşımları kullanılarak izlenir. Tasarlanan planlayıcı ve takipçilerin etkinliği, gerçek maden sahası ortamında çekici-dorse ile yapılan testlerle gösterilmiştir. Bu tezin bir diğer önemli odak noktası ise lokalizasyondur ve bu bağlamda odometri problemine odaklanılmıştır. Derin öğrenmedeki son gelişmeler, uçtan uca çözümlere olan ilgiyi artırmıştır. Ancak, derin öğrenme tahminlerini matematiksel modellerle birleştiren hibrit yaklaşımlar, altta yatan fenomenleri doğru bir şekilde temsil etme yetenekleri nedeniyle daha güvenilir bulunmuştur. Bu temelden yola çıkarak, hibrit bir odometri çözümünü LiDAR nokta bulutlarını entegre ederek geliştirdik. Monoküler derinlik tahmini son yıllarda önemli ölçüde ilerlemiş olsa da, odometri sistemlerinde ölçek kaymasını önlemek için kullanıldığında ölçek kayması hataları yaşanmaktadır. Buna karşılık, LiDAR metrik ölçekli ancak seyrek derinlik ölçümleri sağlar. Bu tez ayrıca, monoküler derinlik tahmini ile LiDAR'ın seyrek derinlik verilerini birleştiren bir füzyon sistemi önermektedir. Çalışmada iki alternatif füzyon yaklaşımı sunulmuş ve KITTI odometri veri setinde temel performansa göre \%40'a varan iyileştirmeler elde edilmiştir.
Özet (Çeviri)
Autonomous trucks are gaining significant attention as they aim to address challenges such as driver shortages, operational safety, and efficiency. To harness the practical and financial benefits of these systems, both industry and academia are increasingly focusing on the application of autonomous truck technologies. One primary use case is in mining operations, where trucks must navigate dynamic, uneven terrains. The natural characteristics of these environments pose unique challenges for robotics, requiring innovative research to address them. This thesis focuses on several fundamental problems in robotics, including ground plane and traversability estimation, motion planning and control, and localization. While these are broad topics with extensive prior research, we propose novel approaches that differ from existing works. Specifically, we introduce a polar grid representation of the ground that adaptively arranges its bins based on the terrain's unique characteristics. This adaptive representation, combined with traversability estimation tailored to truck dynamics and dimensions, enables more accurate occupancy mapping of the environment, leading to safer motion planning. Additionally, this thesis presents the design of a system architecture for autonomous trucks operating in mines. Known as GPENS, this system consists of several essential modules for navigation, including point-to-point travel and reversing in loading and unloading areas. At a high level, GPENS integrates perception, localization, planning, and control modules. The perception module incorporates ground plane and traversability estimation, as well as road boundary detection, to ensure completeness and identify safe driving paths. A dataset was created using real truck-trailer combinations operating in a mining environment, allowing us to validate the effectiveness of the proposed algorithms. Our ground plane and traversability estimation solution improves precision by 2% compared to competing algorithms. Motion planning for mining truck navigation can often be adapted from structured solutions. However, reversing truck-trailer combinations in loading and unloading areas presents a unique challenge. Efficient coordination between navigation and parking planners is critical to ensure the parking tracker performs optimally, as reversing such combinations is inherently unstable. In this work, the proposed planner algorithms operate offline to determine maneuver switching points, and paths, which are then tracked using optimal control and geometric tracker approaches. The effectiveness of the designed planner and trackers is demonstrated through real-world tests with truck-trailer combinations in actual mining environments. Another key focus of this thesis is localization, specifically addressing the odometry problem. Recent advances in deep learning have led to widespread interest in end-to-end solutions. However, hybrid approaches, which combine deep learning estimations with mathematical models, have proven more reliable due to their ability to accurately represent underlying phenomena. Building on this foundation, we enhance hybrid odometry solutions by incorporating LiDAR point clouds. While monocular depth estimation has advanced significantly, it often suffers from scale drift errors when used for scale recovery in odometry systems. In contrast, LiDAR provides metric-scale but sparse depth measurements. This thesis proposes a fusion system that combines monocular depth estimation with LiDAR sparse depth data, improving overall effectiveness. Two alternative fusion approaches are introduced, achieving up to a 40\% improvement over baseline performance on the KITTI odometry dataset.
Benzer Tezler
- Araç-yaya kazalarını önlemek için stereo görüntü tabanlı uzaklık tespit sistemi geliştirilmesi
Development of distance estimation system based on stereo vision to prevent vehicle-pedestrian accidents
EMRE GÜNGÖR
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET ÖZMEN
- Otonom araçlar için 2B lazer tarayıcı kullanılarak yeni 3B LIDAR sistemi elde edilmesi ve engel tespiti
Obtaining a new type 3D LIDAR system using 2D laser scanner for autonomous vehicles and obstacle detection
AHMET KAĞIZMAN
Yüksek Lisans
Türkçe
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- Kapalı ortamlarda yerelleştirme ve haritalama için sensör füzyonu
Sensor fusion for gps denied environment for localization and mapping
HÜSEYİN BURAK KURT
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMakine Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- Forest above ground biomass (AGB) estimation using multi-sensor data
Çoklu uydu verileri kullanılarak orman toprak üstü biyokütle kestirimi
EREN GÜRSOY ÖZDEMİR
Doktora
İngilizce
2025
Jeodezi ve FotogrametriHacettepe ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. SAYGIN ABDİKAN
- Design and control of ros based omnidirectional vehicle
Ros tabanlı çok yönlü hareket edebilen araç tasarım ve kontrolü
İBRAHİM DİNÇER NALBANT
Yüksek Lisans
İngilizce
2022
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN TEMELTAŞ