Geri Dön

Fusing the RGB image and LiDAR data for road detection

Yol tespiti için RGB kamera ve LiDAR füzyonu

  1. Tez No: 817929
  2. Yazar: ARDA TAHA CANDAN
  3. Danışmanlar: DOÇ. DR. HABİL KALKAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Gebze Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 53

Özet

Sürülebilir yol tespiti, otonom araçlar için en temel sorunlardan biridir. Bu problem için en sık kullanılan sensörler RGB kameralar ve LiDAR'lardır. RGB kamera verileri renk gibi çok sayıda görsel bilgi içerirken, LiDAR verileri ortam ışığından etkilenmeden hassas konum bilgisi sağlamaktadır. Çeşitli çalışmalar, yol tespiti için bu iki sensörün birlikte kullanılmasının daha kararlı sonuçlar ürettiğini göstermiştir. Ancak sensörlerin ürettiği verilerin farklı biçimlerde ve boyutlarda olması, elde edilen özniteliklerin verimli bir şekilde kullanılması için sensör füzyon yöntemini kritik hale getirmektedir. Bu tezde, ilk olarak LiDAR verileri işlenerek füzyona uygun hale getirilmiştir. Daha sonra, erken füzyon, geç füzyon ve çapraz füzyon olmak üzere üç farklı U-Net tabanlı özgün görüntü bölütleme mimarisi geliştirilmiştir.Ardından, bu mimariler ile KITTI yol tespiti veri seti üzerinde modeller eğitilmiş ve değerlendirilmiştir. RGB görüntüsünü ve LiDAR yükseklik fark görüntüsünü kullanan erken füzyon ve çapraz füzyon modelleri, değerlendirilen modeller arasında en yüksek MaxF skorlarını elde etmişlerdir. Modeller ayrıca literatürdeki diğer başarılı modeller ile de karşılaştırılmış ve rekabetçi sonuçlar elde edilmiştir.

Özet (Çeviri)

Drivable road detection is one of the most fundamental problems for autonomous vehicles. The most commonly used sensors for this problem are RGB cameras and LiDARs. While RGB camera data contains a wealth of visual information, such as colour, LiDAR data provides precise position information without being affected by ambient light. Several studies show that using these two sensors together for road detection produces more robust results. However, the fact that the data produced by the sensors are in different forms and spaces makes the sensor fusion method critical to utilise the obtained features efficiently. In this thesis, first, LiDAR data was processed to make them suitable for fusion. Afterwards, three different U-Net-based novel image segmentation architectures were developed: early fusion, late fusion, and cross fusion. Then, the models based on these architectures were trained and evaluated on the KITTI road detection dataset. The early fusion and cross fusion models using the RGB image and LiDAR altitude difference image achieved the highest MaxF score among the evaluated models. The models were also compared with other state-of-the-art models in the literature, and the results were at a competitive level.

Benzer Tezler

  1. Hyperspectral imagery super-resolution

    Hiperspektral görüntülerde süperçözünürlük

    HASAN IRMAK

    Doktora

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. GÖZDE AKAR

    YRD. DOÇ. DR. SENİHA ESEN YÜKSEL

  2. Alternative navigation methods: Fusion of optical flow and visual-inertial pose estimation using EKF

    Alternatif navigasyon metotları: EKF kullanılarak, poz tahmini için optik akışı ile görsel ataletliyi füzyon etmektedir

    ABDEL SALAM BAWARSHI

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Havacılık Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EMRE KOYUNCU

  3. Enhancing depth-maps-based human activity recognition using autoencoders fused features

    Oto kodlayıcıların birleşmiş özellikleri kullanılarak derinlik harita tabanlı insan aktivitelerinin tanımının geliştirilmesi

    MOHAMMED SAUDI ABDELSAMED HASSAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. IHAB ELAFF

  4. Doğadan esinlenen koku ve ikili görüye dayalı gerçek zamanlı bir gömülü sistem tasarımı

    A bio-inspired real time embedded system design based on olfaction and stereo vision

    SELMAN ERGÜNAY

    Yüksek Lisans

    Türkçe

    Türkçe

    2013

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MÜŞTAK ERHAN YALÇIN

  5. Multi-modal tensor representations of brain networks

    Beyin ağlarının çok modelli tensör gösterimleri

    GÖKTEKİN DURUSOY

    Doktora

    İngilizce

    İngilizce

    2021

    BiyomühendislikBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. BURAK ACAR