A sensor fusion approach for autonomous driving
Otonom sürüş için sensör birleştirme yaklaşımı
- Tez No: 771302
- Danışmanlar: PROF. DR. TANKUT ACARMAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Galatasaray Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 60
Özet
Bu tezde, tek sensör ile çalışan sistemlerin eksikliklerinin üstesinden gelmek adına kamera ve lidar sensörleri arasında bilgi birleştirme yaklaşımı önerilmiştir. Kamera sensörü için bir yapay zeka modeli, çoklu görev modeli oluşturulmuştur. Oluşturulan model; araba, motosiklet, bisiklet, kamyon, otobüs gibi dinamik, trafik levhası gibi statik trafik objelerini ve yayaları tanımlayabilecek; trafik ışıklarının rengini sınıflandırabilecek; yol üzerindeki sürülebilir alan ve şerit çizgilerini tespit edebilecek kapasiteye sahiptir. Önerilen çoklu görev modeli; tek görevi olan birden fazla yapay zeka modelinin paralel çalışarak yapacakları işi tek başına, daha hızlı ve gerçek zamanda yapabilir. Önerilen bu model saniyede 47.62 kare işleme kapasitesi ile eğitildiği Berkeley Deep Drive 100K veri setinde en hızlı çalışan çoklu görev modeli olmuştur. Çoklu görev modelleri arasında, sürülebilir alan ve şerit tanımada ikinci, dinamik trafik obje tanımlamada %40'lık bir fark ile birinci sırada yer almıştır. Lidar sensörü için 3 boyutlu obje tespiti ve lidar uzayı üzerinde zemin tespiti sonuçları halihazırda önerilmiş metotlarla elde edilmiştir. İki sensörden farklı modeller aracılığıyla sonuçlar elde edildikten sonra KITTI veri seti ile performans değerlendirilmesi gerçekleştirilmiştir. Önerilen sensör füzyon yaklaşımları ile oluşturulan sistem, sadece lidar kullanarak çalışan 3 boyutlu obje tespiti modellerinin performansını kategori bazında %9.87'ye kadar arttırmıştır. İki farklı füzyon metodu ile gerçekleştirilen performans karşılaştırmasına göre, bu tezde önerilen füzyon yaklaşımı daha üstün sonuç vermiştir. Önerilen sensör füzyon yaklaşımı 36 milisaniye, saniyede 33 kare işleme kapasitesi ile gerçek zamanda çalışabilir haldedir
Özet (Çeviri)
In this thesis, a sensor fusion approach between camera and lidar sensors is proposed to overcome shortcomings of single sensor setups. For camera sensor, a deep learning model, a multitask network is proposed to localize dynamic and static traffic objects and segment drivable area and lane lines. Dynamic objects include cars, motorcycles, bicycles, buses, trucks and pedestrians, static traffic objects include color classified traffic lights and traffic signs. This proposed multi-network achieves multiple tasks by itself faster and in real-time as normally there would be separate network models for each of these tasks working on parallel. The multi-network proposed is trained and tested with Berkeley Deep Drive 100K dataset. Evaluation results show that the proposed method is the fastest multi-network on the dataset with 47.62 FPS. Around multi-networks, proposed model has the second place on drivable area segmentation and lane line detection. Dynamic object localization performance of the network is state-of-the-art with 40% performance increase compared to other models. For Lidar sensor, 3D object detection and Lidar ground plane detection are achieved by already proposed methods. Finally, the detections from two sensors are fused by proposed fusion algorithms and results are evaluated with KITTI dataset. The proposed fusion approach exceeds the performance of Lidar-only methods up to 9.87% category wise. Comparison with two different fusion approaches also show our superior performance. Proposed sensor fusion methods can work in real-time by taking only 36 milliseconds, nearly 33 frames per second.
Benzer Tezler
- Image based lane keeping by end-to-end machine learning within simulated environment
Başlık çevirisi yok
AYDIN HOROZOĞLU
Yüksek Lisans
İngilizce
2020
Mühendislik BilimleriBudapest University of Technology and EconomicsDR. ARADİ SZİLARD
- Akıllı araçlar kapsamında ileri sürüş destek sistemlerinde sensör füzyonu
Sensor fusion in advanced driver asistance systems in the scope of intelligent vehicles
İLKER ALTAY
Doktora
Türkçe
2014
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. BİLİN AKSUN GÜVENÇ
- Multi-object tracking by associations on temporal window
Geçici pencerede çağrışımlara dayalı çoklu nesne takibi
GÜLTEKİN GÜNDÜZ
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TANKUT ACARMAN
- Hybrid controller approach for an autonomous ground vehicle path tracking problem
Otonom bir kara aracının yol takibi problemi için hibrit kontrolör yaklaşımı
MERTCAN CİBOOĞLU
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET TURAN SÖYLEMEZ
- Design, implementation and comparison ofsensor fusion methods for object detection and trackingbased on multiple 3D lidar sensors
Çoklu 3D lidar sensörleri üzerindenesne algılama ve takibi için sensör füzyon yöntemlerinintasarımı, uygulaması ve karşılaştırılması
ELİF AKSU TAŞDELEN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER