Otonom araç sürüşünde kamera-lidar füzyonu tabanlı yol tespiti
Camera and lidar fusion based road detection in autonomous vehicle driving
- Tez No: 930809
- Danışmanlar: PROF. DR. ASIM EGEMEN YILMAZ
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 107
Özet
Çok modlu sistemlerin, tek bir modaliteye sahip sistemlere kıyasla daha güvenilir sonuçlar üretebilme kapasitesine sahip olduğu bilinmektedir, çünkü sahnenin farklı yönlerini algılayabilirler. Bu çalışmada, birçok önde gelen çalışmada olduğu gibi yüksek ön işleme maliyetlerini gerektiren yüzey normali veya yoğun derinlik tahminleri yerine, ham sensör girdilerinin kullanımına odaklanılmıştır. Ham sensör girdileri kullanılarak hem ön işleme hem de model hesaplama maliyetlerini minimize eden düşük maliyetli bir model geliştirilmesi amaçlanmıştır. Bu tez kapsamında, çoklu görev öğrenme mimarisi içerisinde birden fazla sensörden elde edilen veriler entegre edilerek yol bölütleme için maliyet-etkili ve yüksek doğruluğa sahip bir çözüm sunulmaktadır. RGB ve LiDAR derinlik görüntülerinin ağın girdilerini oluşturduğu bir füzyon mimarisi önerilmektedir. Çalışmanın bir diğer katkısı, AÖB/KKS (ataletsel ölçüm birimi/küresel konumlandırma uydu sistemi) ataletsel navigasyon sisteminden elde edilen verilerin, LiDAR-kamera ile senkronize bir şekilde toplanıp kalibre edilerek birleştirilmiş yoğun LiDAR derinlik görüntülerinin hesaplanmasıdır. Önerilen yöntemin performansı, KITTI ve BotanicGarden veri setleri üzerinde gerçekleştirilen deneylerle değerlendirilmiştir ve yöntemin hızlı, yüksek performanslı çözümler sunduğu gösterilmiştir. Ayrıca, Cityscapes veri setinde ham LiDAR verisinin bulunmadığı durumda da yöntemin başarımı analiz edilmiştir. Hem tam hem de yarı çözünürlükte elde edilen bölütleme sonuçlarının, mevcut yöntemlerle rekabet edebilecek düzeyde olduğu görülmüştür. Bu sonuçlar doğrultusunda, yöntemin yalnızca ham LiDAR verilerine bağımlı olmadığı, aksine farklı sensör modaliteleri ile de etkin bir şekilde kullanılabileceği ortaya konulmuştur. Tüm deneylerde elde edilen çıkarım süreleri, yöntemin gerçek zamanlı uygulamalar için oldukça umut verici sonuçlar sunduğunu göstermektedir. Hesaplama maliyetini düşürmek ve kaynakların daha etkin bir şekilde kullanılması amacıyla, geliştirilen mimariye LoRA (Low-Rank Adaptation) eklenerek ek deneyler gerçekleştirilmiş; elde edilen sonuçlar, şekiller ve analizler aracılığıyla sunulmuştur.
Özet (Çeviri)
It is known that multi-modal systems have a greater capacity to produce more reliable results compared to single-modality systems, as they can perceive different aspects of a scene. This study focuses on using raw sensor inputs instead of high-cost preprocessing methods such as surface normal estimation or dense depth prediction, which are commonly used in many state-of-the-art studies. By employing raw sensor inputs, the goal is to develop a cost-effective model that minimizes both preprocessing and computational costs. Within the scope of this thesis, a cost-efficient and high-accuracy solution for road segmentation is presented by integrating data from multiple sensors within a multi-task learning architecture. A fusion model is proposed, where RGB images and LiDAR depth images serve as network inputs. Another contribution of this study is the utilization of an Inertial Measurement Unit/Global Navigation Satellite System (IMU/GNSS) inertial navigation system. The data collected from this system are synchronized with the LiDAR-camera setup and calibrated to generate dense LiDAR depth images. The performance of the proposed method has been evaluated on the KITTI and BotanicGarden datasets, showing that it delivers fast and efficient solutions. Additionally, the method's performance has been analyzed using the Cityscapes dataset in the absence of raw LiDAR data. The segmentation results obtained at both full and half resolution indicate that the proposed method performs competitively with existing approaches. These findings confirm that the method is not solely dependent on raw LiDAR data but can also be effectively utilized with different sensor modalities. The inference times obtained in all experiments indicate that the method is highly promising for real-time applications. To further reduce computational costs and utilize resources more efficiently, additional experiments were conducted by incorporating Low-Rank Adaptation (LoRA) into the developed architecture. The results are presented with supporting figures and analyses.
Benzer Tezler
- Otonom sürüş için derin öğrenme tabanlı yenilikçi çözüm yaklaşımları
Innovative solution approaches based on deep learning for autonomous driving
SALİM AZAK
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiKonya Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. AKİF DURDU
- Applications of deep reinforcement learning for advanced driving assistance systems
İleri sürüş destek sistemleri için derin pekiştirmeli öğrenme uygulamaları
MUHARREM UĞUR YAVAŞ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Classification of maneuvers of vehicles in front for driver assistance systems
Sürücü destek sistemleri için öndeki araçların manevralarının sınıflandırılması
YAĞIZ NALÇAKAN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji EnstitüsüBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YALIN BAŞTANLAR
- Ortam etkileşimli güvenli sürüş destek sistemlerinin modellenmesi
Modelling of environment-interactive safe drive assistant systems
ÖZGÜR KARADUMAN
Doktora
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN KÜRÜM
- Improving lane change decisions in autonomous driving using adversarial learning
Otonom sürüşte şerit değiştirme kararlarının karşıt öğrenme yöntemiyle iyileştirilmesi
AYTUĞ ONURHAN EFİL
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA DOĞAN