Geri Dön

Design, implementation and comparison ofsensor fusion methods for object detection and trackingbased on multiple 3D lidar sensors

Çoklu 3D lidar sensörleri üzerindenesne algılama ve takibi için sensör füzyon yöntemlerinintasarımı, uygulaması ve karşılaştırılması

PDF İndir

  1. Tez No: 636967
  2. Yazar: ELİF AKSU TAŞDELEN
  3. Danışmanlar: DOÇ. DR. VOLKAN SEZER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 89

Özet

Otomotiv endüstrisi, sosyal ve finansal açıdan dünya çapında önemli bir güçtür. Bu endüstri, müşteri ihtiyaçlarını karşılamak için emniyetli sürüş ve daha iyi performans gibi teknolojik gelişmelerle birlikte sürekli değişmektedir. Günümüzde, müşterinin artan talebiyle, birçok otomotiv şirketi güvenli ve rahat bir sürüş sağlamak için Gelişmiş Sürücü Asistan Sistemleri (ADAS) ile araçlarını belirli bir otonom seviyesine getirmektedir. Bu alanda artan talep ve otomotiv şirketlerinin yatırımları ise otonom sürüş konusunu daha cazip hale getirmiştir. Aracın otonom özelliklerini artırmak için sistemden insan müdahalesi kaldırılmalı ve araç sürücünün yaptığı her şeyi yapabilmelidir. Bu nedenle, bu alandaki araştırmacıların ve otomotiv şirketlerinin odak çalışmaları araç sistemlerinden insan müdahalesini tamamen ortadan kaldırmak üzerinedir. İnsan etkisini kaldırmanın en büyük adımı ise insanın algıladığı kadar aracın da çevresini algılamasını ve anlamlandırmasını sağlamaktır. Aracın kendini sağlıklı bir şekilde kontrol edebilmesi ve uygun hamleleri yapabilmesi için çevresindeki diğer araç ve insanların hareketlerini/ durumlarını algılamalı ve bunları takip edip gelecek durumları için tahminde bulunmalıdır. Bahsettiğimiz bu çevre algılama, sensörler ile mümkündür. Günümüzde otomotiv endüstrisi için üretilen ve otonom araç çalışmalarında kullanılan birçok çeşit sensör bulunmaktadır. Aracın etrafındaki nesneleri algılamak için kullanılan sensörlerden başlıcaları; Kamera, Radar ve LIDAR sensörleridir. Aracın üzerine farklı konumlarda bu gibi sensörler yerleştirerek, aracın etrafından bilgi toplanması sağlanır. Güvenilir ve doğrulanmış çevresel algı, genellikle birden fazla sensörün birlikte kullanılmasıyla oluşur. Bunun nedeni, hiç bir sensörün tek başına yeterli ve kesin bilgi verememesidir. Her sensörün belirli bir görüş alanı bulunur ve her sensör çevre hakkında farklı bilgiler sağlar. Örneğin, kamera sensörü 2 boyutlu görüntüyü bilgi olarak verirken bu görüntü hakkında uzaklık bilgisi veremez. Diğer yandan, radar sensörü mesafe bilgisini radyo sinyalleri kullanarak sağlayabilir ama objeyi sınıflandırma konusunda zayıf kalır ve yan yana olan birkaç nesneyi birbirinden ayırması zordur. Ne var ki, Radar'ın kullanım alanı çok geniştir, zorlu hava koşullarında bile verimli çalışabilir. LIDAR sensörü ise lazer ışınlarını 360 derece etrafa gönderip toplayarak yüksek çözünürlüklü ve yoğun bilgi sağlamaktadır. Lidar çok iyi bir şekilde yüzey analizi yapabildiği için nesnelerin şekillerini algılama ve bu şekilleri birbirinden ayırma yeteneğine çok yüksek düzeyde sahiptir. LIDAR sensörünün dezavantajı olarak da olumsuz hava koşullarından etkilenmesi gösterilebilir. Bu çeşitli sensörlerin tek bir çevre bilgisini oluşturabilmesi için doğru bir kombinasyonla ve yorumlamayla birleştirilmesi gerekmektedir. Böylelikle her bir sensörün avantajlı yanı birlikte kullanılabilir. Birden fazla sensörden gelen bilgiler, literatürde iki farklı strateji ile birleştirilir. Bunlar; düşük seviyeli veri füzyonu ve yüksek seviyeli veri füzyonudur. Bu sensör füzyon yöntemleri, sensör verilerini hangi seviyede kullandığına göre değişmektedir. Eğer sensör verisi hiç işlenilmemiş ya da sadece ön bir işlemden geçirilip belli özellikleri çıkartılmışsa bu veriye düşük seviye sensör verisi denir. Düşük seviyeli füzyon stratejisi, sensörlerin işlenmemiş ham verilerinin birleştirilmesine dayanmaktadır. Birleştirilen ham veriler, nesne algılama ve takip işlemine girer. Öte yandan, sensör verileri işlenerek obje bilgileri elde edilirse ve kestirim yöntemleriyle tahminleri çıkarılırsa bu sensör çıktısı yüksek seviyede sensör verisi olarak adlandırılır. Yüksek seviyeli füzyon stratejisi önce sensörlerden nesneler hakkında tahminler toplar ve ardından nesnelerin kestirimlerini füzyon metodu kullanarak birleştirir. Biz de bu çalışmada, aracın çevresindeki nesneleri gerçek zamanlı olarak tespit etmek ve izlemek için çoklu 3D LIDAR sensörlerinin kullanımına odaklandık. Çoklu LIDAR sensörlerini birleştirmedeki amaç, daha kesin obje tespitleri ve tahminleri elde etmektir. Çevre algısı için çoklu 3D LIDAR sensörlerde iki çeşit (düşük seviye ve yüksek seviye) gerçek zamanlı sensör füzyon yaklaşımı uygulanıp test edilmiştir. İlk olarak düşük seviyeli füzyon yaklaşımında, her bir LIDAR sensöründen alınan ham nokta bulutu verileri doğrudan birleştirilir ve bu birleştirilmiş verilere nesne algılama ve izleme algoritmaları uygulanır. Literatürde yer alan çalışmalara göre bu yöntem 3D LIDAR sensörleri için çeşitli uygulamalarda kullanılmıştır. Tez çalışmasında da ilk olarak bu yöntem uygulanmıştır. Bu tez çalışmasının ilk katkısı, çoklu 3D LIDAR sensörlerininin verilerini birleştirmek için“yüksek seviyede obje tahminlerinin füzyonu”yaklaşımını önermek ve sensörler üzerinde bu yaklaşımı uygulamaktır. Sunulan yüksek düzey füzyonda, her bir LIDAR sensöründen nesne tespitleri ve bu nesnelere ait kestirimler toplanır ve bu kestirimler literaturde geçen 'Covariance Intersection' füzyon yöntemiyle birleştirilir. İki füzyon yöntemi de aynı nesne tespit ve takip algoritmalarını kullanmaktadır. Kullanılan nesne tespit algoritması 3D LIDAR sensörünün nokta bulutu şeklinde verisinden nesnelerin çıkarılmasını sağlamaktadır. Genel olarak üç aşamada nesne verisi çıkartılır. İlk olarak yere ait olan noktalar tespit edilir ve eğim bazlı bir algoritma ile noktalar arasındaki yükseklik farkına bakılır. Yükseklik farkı az olan noktalar yer noktası olarak işaretlenerek nokta bulutundan çıkarılır. İkinci olarak, kalan nokta bulutu içindeki noktalar incelenir ve bir yakınlık tanımı yapılarak, birbirine yakın olan noktalar gruplandırılır. Son olarak da bu grupları ifade etmek için etrafına kutular çizilir ve her bir kutu bir nesneyi temsil eder. Nesne tespit algoritmasından elde edilen nesnelerin merkez noktaları Kalman filtresi tabanlı bir takip algoritmasıyla takip edilmeye başlanır. Nesnelerin önceki konumlarından ve hareket modelleri kullanılarak çıkartılan hız ve yönelim bilgilerinden şimdiki zamana ait tahminleri çıkartılır. Bu noktada önemli olan hareketleri yansıtabilecek hareket modelini seçmektir. Bu çalışmanın içerisinde üç hareket modeli aynı anda kullanılmaktadır. Bunun için, çoklu hareket modellerinin birlikte kullanılmasını sağlayan 'Interacting Multiple Model (IMM)' yöntemi Kalman filtresiyle birleştirilerek kullanılmıştır. Bu tahminler yeni elde edilen sensör verileriyle karşılaştırılıp doğru sensör bilgisiyle güncellenir. İki füzyon yaklaşımının da çıkışından elde edilen sonuçlar; takip edilmiş nesnenin pozisyon bilgisi, hız bilgisi, yön açısı ve yön açısın değişimi bilgileridir. Bu iki gerçek zamanlı füzyon stratejisini test etmek için Ford F-Max tırı test aracı olarak kullanılmıştır. İki 3D LIDAR sensörü tırın ön köşelerine yerleştirilmiştir. Bu şekilde sensör yerleşimi test aracının ön tarafını her iki sensörün de ortak görüş alanı olarak elde edilmesini sağlamaktadır. Füzyon algoritmalarının sonuçları bu ortak alan içerisinde değerlendirilmektedir. Uygulanan stratejilerinin performansı üç farklı sürüş senaryosu altında test edilmiştir. Senaryolar hedef aracın yanal ve dikey pozisyonlarını ve hızını değerlendirmek için tasarlanmıştır. Ek olarak, performans değerlendirmesi için yüksek doğrulukta veriler küresel navigasyon uydu sistemi (GNSS) yardımıyla toplanmıştır. Gerçek zamanlı test sonuçları toplandıktan sonra bu sonuçları değerlendirmek için üç performans kriteri tanımlanmıştır. İlk olarak bu algoritmaların işlem sürelerine bakılmıştır. Süreler incelendiğinde aralarında farklılık olsa da iki füzyon algoritmasının da işlem süresi LIDAR sensörünün gönderme süre aralığından az çıkmaktadır. Diğer iki performans metrikleri ise Ortalama Kare Hatası (MSE) ve Standart Sapma (SD)'dır. Ortalama Kare Hatası nesne tahminlerinin doğruluğu hakkında bilgi sağlar. Standart sapma ise sonuçların gerçek verilere göre dağılımını gösterir. Senorya sonuçlarından elde edilen tahminler gerçek verilerle karşılaştırılarak bu değerler elde edilir. Önerilen yaklaşımın yararları ve zayıflıkları tanımlanan performans kriterlerine göre analiz edilerek tartışılmıştır. Sonuçlar incelendiğinde önerilen yeni yöntemin nesne takibindeki hataları iyileştirdiği görülmüştür. Özetlemek gerekirse bu tezde; ilk bölüm, tez amacını ve çalışmanın genel resmini vermektedir. Daha sonra, Bölüm-3'te nesne tespit ve takip stratejileri tanıtılacaktır. Bölüm-4'te seçilen obje tespit ve takip mimarisi açıklanarak füzyon yaklaşımları matematiksel dayanakları ile özetlenecektir. Ayrıca bu bölümde önerilen üst düzey füzyon metodolojisi de sunulacaktır. Bölüm-5, füzyon yaklaşımlarının sonuçlarını test etmek için deney düzeneğini ele almaktadır. Bölüm-6'da ise tasarlanan senaryolardaki bu iki yaklaşımın test sonuçları ve yaklaşımların gerçek verilerle karşılaştırılması bulunmaktadır. Son olarak, sonuçlar kısmında, elde edilen sonuçlar ve bu sonuçlara ilişkin gelecekteki çalışmaların planlanması tartışılacaktır.

Özet (Çeviri)

The automotive industry is a significant social and financial power around the world. This industry is constantly changing with the technological developments to meet customer needs such as better performance, safety driving etc. Today, many automotive companies are bringing their vehicles to a certain level of autonomy with Advanced Driver Assistant Systems (ADAS) to provide safe and comfortable vehicles. The increasing demand in this area and the investments of automotive companies make the subject of autonomous driving more attractive. In order to increase the autonomy of the vehicle, human intervention from the system should be removed and the vehicle must do everything which the driver does. Thus, researchers and automotive companies focus on completely eliminating human intervention from these autonomous systems. Autonomous systems require a complete perception of the surroundings and understanding the behaviour of objects around the vehicle. Accordingly, it is extremely important to detecting and tracking the objects on the environment in order to decide the motion of the vehicle. The reliable, verified environmental perception is provided by the use of multiple sensors with the correct combination. Information coming from multiple sensors is combined with two different strategies in literature; low level fusion and high level fusion. The low level fusion strategy is used for fusing unprocessed raw data of the sensors. The merged raw data is examined for object detection and tracking. On the other hand, the high level fusion strategy first collects predictions about objects from the sensors and then, sends the tracked objects to the fusion algorithm. Our study is focused on the usage of multiple 3D LIDAR sensors for detecting and tracking objects in real time. The first contribution of this work is proposing and implementing“high level track-to-track fusion”method on multiple 3D LIDAR sensors. In the presented high level fusion, tracked objects from each LIDAR sensor are combined with Covariance Intersection fusion method. To the best of our knowledge, this is the first automotive application of track-to-track fusion method on multiple 3D LIDARs. Within the research we have also applied and tested well known and studied low level fusion of multiple 3D LIDARs. In the low-level fusion approach, the raw point cloud data from each LIDAR sensor is directly fused and object detection and tracking algorithms are applied on this fused data. These two real-time fusion strategies are implemented in the experimental test truck which is instrumented with two 3D LIDAR sensors and the performance of the fusion strategies are tested under three different driving scenarios. Additionally, the ground truth data is collected with the help of global navigation satellite system (GNSS) in high accuracy for performance evaluation. The test results are analyzed in terms of defined performance criteria and the benefits \& weaknesses of the proposed approach are discussed in this work. To sum up in this thesis, the first part gives the overall picture of the thesis aim. Then, literature review is summarized. Afterwards, the object detection and tracking strategies will introduce at the Chapter-3. In Chapter-4, the fusion approaches will be summarized with their mathematical backgrounds. The proposed high-level fusion methodology will present in this Chapter. Chapter-5 will cover the experimental setup to test the fusion approaches' results. Accordingly, the real test results of these two approaches through the scenarios and the comparisons of the approaches will discussed in Section-6. Finally, the conclusion and planning future works on these topics will represent at the last part.

Benzer Tezler

  1. Tez No

    840178

    GaN FET ve silisyum tabanlı MOSFET kullanılarak tek uçlu birincil-indüktör (SEPIC) türü pil şarj düzenleyici devresinin gerçekleştirilmesi

    Design, implementation and comparison of Si semiconductor MOSFET and GaN FET based SEPIC battery charge regulator

    OZAN CAN İYİER

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Mühendislik BilimleriHacettepe Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. UĞUR BAYSAL

  2. Tez No

    663836

    Amerika, Avrupa, Asya-Pasifik ve Türk üniversitelerinde bulunan öğrenme öğretme merkezlerinin incelenmesi, değerlendirilmesi ve karşılaştırılması

    The analysis, evaluation and comparison of learning and teaching centers in American, European, Asian-Pacific and Turkish universities

    ELİF ÇOLAK SANCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. NURDAN KALAYCI

  3. Tez No

    859231

    Comparing the performance of different generative adversarial networks on realistic and art images

    Farklı üretici adversarial ağların performansının gerçekçi olarak karşılaştırılması

    SAFOUH ALHELWANI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    PROF. ALİ OKATAN

  4. Tez No

    540118

    İklimle dengeli tasarımda dış mekan iklim haritalarının kullanım olanakları: Çukurova Üniversitesi Mimarlık Fakültesi örneği

    Use of outdoor microclimate maps in design with climate: A case study of Çukurova University Faculty of Architecture

    CEREN ALTUNKASA

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Peyzaj MimarlığıÇukurova Üniversitesi

    Peyzaj Mimarlığı Ana Bilim Dalı

    DOÇ. DR. CENGİZ USLU

  5. Tez No

    836741

    FLAGS framework and decentralized federated learning under device volatility

    FLAGS platformu ve cihaz dalgalanması durumunda merkeziyetsiz federe öğrenme

    AHNAF HANNAN LODHI

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZNUR ÖZKASAP

    YRD. DOÇ. DR. BARIŞ AKGÜN

Geri Dön