Fusing the RGB image and LiDAR data for road detection
Yol tespiti için RGB kamera ve LiDAR füzyonu
- Tez No: 817929
- Danışmanlar: DOÇ. DR. HABİL KALKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 53
Özet
Sürülebilir yol tespiti, otonom araçlar için en temel sorunlardan biridir. Bu problem için en sık kullanılan sensörler RGB kameralar ve LiDAR'lardır. RGB kamera verileri renk gibi çok sayıda görsel bilgi içerirken, LiDAR verileri ortam ışığından etkilenmeden hassas konum bilgisi sağlamaktadır. Çeşitli çalışmalar, yol tespiti için bu iki sensörün birlikte kullanılmasının daha kararlı sonuçlar ürettiğini göstermiştir. Ancak sensörlerin ürettiği verilerin farklı biçimlerde ve boyutlarda olması, elde edilen özniteliklerin verimli bir şekilde kullanılması için sensör füzyon yöntemini kritik hale getirmektedir. Bu tezde, ilk olarak LiDAR verileri işlenerek füzyona uygun hale getirilmiştir. Daha sonra, erken füzyon, geç füzyon ve çapraz füzyon olmak üzere üç farklı U-Net tabanlı özgün görüntü bölütleme mimarisi geliştirilmiştir.Ardından, bu mimariler ile KITTI yol tespiti veri seti üzerinde modeller eğitilmiş ve değerlendirilmiştir. RGB görüntüsünü ve LiDAR yükseklik fark görüntüsünü kullanan erken füzyon ve çapraz füzyon modelleri, değerlendirilen modeller arasında en yüksek MaxF skorlarını elde etmişlerdir. Modeller ayrıca literatürdeki diğer başarılı modeller ile de karşılaştırılmış ve rekabetçi sonuçlar elde edilmiştir.
Özet (Çeviri)
Drivable road detection is one of the most fundamental problems for autonomous vehicles. The most commonly used sensors for this problem are RGB cameras and LiDARs. While RGB camera data contains a wealth of visual information, such as colour, LiDAR data provides precise position information without being affected by ambient light. Several studies show that using these two sensors together for road detection produces more robust results. However, the fact that the data produced by the sensors are in different forms and spaces makes the sensor fusion method critical to utilise the obtained features efficiently. In this thesis, first, LiDAR data was processed to make them suitable for fusion. Afterwards, three different U-Net-based novel image segmentation architectures were developed: early fusion, late fusion, and cross fusion. Then, the models based on these architectures were trained and evaluated on the KITTI road detection dataset. The early fusion and cross fusion models using the RGB image and LiDAR altitude difference image achieved the highest MaxF score among the evaluated models. The models were also compared with other state-of-the-art models in the literature, and the results were at a competitive level.
Benzer Tezler
- Hyperspectral imagery super-resolution
Hiperspektral görüntülerde süperçözünürlük
HASAN IRMAK
Doktora
İngilizce
2017
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE AKAR
YRD. DOÇ. DR. SENİHA ESEN YÜKSEL
- Alternative navigation methods: Fusion of optical flow and visual-inertial pose estimation using EKF
Alternatif navigasyon metotları: EKF kullanılarak, poz tahmini için optik akışı ile görsel ataletliyi füzyon etmektedir
ABDEL SALAM BAWARSHI
Yüksek Lisans
İngilizce
2019
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE KOYUNCU
- Enhancing depth-maps-based human activity recognition using autoencoders fused features
Oto kodlayıcıların birleşmiş özellikleri kullanılarak derinlik harita tabanlı insan aktivitelerinin tanımının geliştirilmesi
MOHAMMED SAUDI ABDELSAMED HASSAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. IHAB ELAFF
- Doğadan esinlenen koku ve ikili görüye dayalı gerçek zamanlı bir gömülü sistem tasarımı
A bio-inspired real time embedded system design based on olfaction and stereo vision
SELMAN ERGÜNAY
Yüksek Lisans
Türkçe
2013
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MÜŞTAK ERHAN YALÇIN
- Multi-modal tensor representations of brain networks
Beyin ağlarının çok modelli tensör gösterimleri
GÖKTEKİN DURUSOY
Doktora
İngilizce
2021
BiyomühendislikBoğaziçi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. BURAK ACAR