Automated lane change decision making for autonomous vehicles using machine learning techniques
Makine öğrenmesi teknikleri ile otonom araçlarda şerit değişimine karar verme
- Tez No: 638083
- Danışmanlar: DOÇ. GÜLAY ÖKE GÜNEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 79
Özet
Otonom otomobiller ulas ̧ımın geleceg ̆inde önemli bir rol oynamaktadır. Yapay Zekadaki büyüme nedeniyle, gelecekteki akıllı otomobillerin ve kamyonların sürücüsüz, kazadan kaçınma ve verimli olacag ̆ı öngörülmektedir. Tepki süresi gecikmesini ve güvenli s ̧erit deg ̆is ̧imini azaltarak insan sürüs ̧ hatalarını ortadan kaldırır ve güvenli seyahat sag ̆larlar. Bu hedeflere ulas ̧mak için, otomobil üreticileri beklenen sonuçlara ulas ̧mak için mevcut zorluklarla ilgili aras ̧tırma alanlarına yatırım yapmıs ̧tır. Makine ög ̆renimi algoritmalarındaki son ilerlemenin ardından, sürücüsüz araçların önümüzdeki yirmi yıl içinde piyasaya çıkması bekleniyor. Kendi kendini süren otomobiller son on yıl boyunca büyük ilgi gördü. Derin ög ̆renmenin ve derin pekis ̧tirici ög ̆renme algoritmalarının yükselmesiyle bu dikkatin es ̧zamanlılıg ̆ı bir tesadüf deg ̆ildir. Derin ög ̆renme algoritmaları özerk araç uygulamalarına giden yolu önce görüntü sınıflandırmalarına evris ̧imli sinir ag ̆ları (CNN) uygulayarak buldu. Ortaya çıkan ümit verici sonuçlar, otonom araçlar alanındaki aras ̧tırmacıları, gelis ̧mis ̧ sürücü destek sistemlerinin (ADAS) algılama katmanında derin sinir ag ̆larını kullanmaya tes ̧vik etti. ADAS'taki algılama katmanı, ego aracını çevreleyen aktörleri, örneg ̆in otomobilleri, yayaları ve bisikletlileri tespit etmekten ve sınıflandırmaktan sorumludur. Ortamın kus ̧bakıs ̧ı (BEV) es ̧lemesi olus ̧turulduktan sonra, sensör füzyon katmanı sahnedeki dig ̆er aktörleri tanımlar ve izler. Daha sonra, bir karar verme algoritması, genellikle çarpıs ̧malardan kaçınmak ve mümkün olan en kısa sürede bir hedef konuma ulas ̧mak için önceden tanımlanmıs ̧ bir maliyet is ̧levini en aza indirmek için üst düzey eylemler (ör. ChangeLane, Hızlandır veya Durdur) üretir. Önemsiz olarak, optimum yüksek seviye eylemler ürettikten sonra, alt seviye kontrolörleri verilen komutları takip etmek için istenen gaz ve direksiyon açısını üretir. Bu tez, Q-tablosu, pekis ̧tirici ög ̆renme ve sinir ag ̆ı gibi farklı yöntemler kullanarak otonom s ̧erit deg ̆is ̧imini aras ̧tırmaktadır. Otonom s ̧erit deg ̆is ̧iklig ̆i, özellikle otoyollarda sürerken ADAS'ın karar verme merkezinin önemli parçalarından biridir. S ̧u anda, s ̧ehirlerde aktif olarak sürülen otonom araçlar, insan sürücüsüne güvenmeden güvenli ve güvenilir s ̧erit deg ̆is ̧iklikleri gerçekles ̧tiremiyor. S ̧irketlerin çog ̆u, sürüs ̧ durumuna bag ̆lı olarak sezgisel kararlar olus ̧turmak için Sonlu Durum Makinesi yaklas ̧ımlarını kullanır. Ancak, bu teknikler çevre, yol ve trafik kos ̧ullarından etkilenen farklı sürüs ̧ durumlarını yakalayacak kadar genelleme yapmayabilir. Son zamanlarda, Pekis ̧tirmeli ög ̆renme algoritmaları, ayrık ve sürekli ortamları gözlemleyerek ayrık eylemler üretmede umut verici sonuçlar göstermis ̧tir. Bu nedenle, bu algoritmaları kendi kendini süren otomobiller için otoyol sürüs ̧ görevlerinde taktik karar verme sürecine uygulamaya karar verdik. Bu amaçla, otomobilin ızgara dünyasını dört s ̧eritli ve sola dönme, sag ̆a dönme ve s ̧eritte kalma gibi üç farklı eylemle PyGame ortamında simüle ettik. Son olarak, farklı yöntemlerin sonuçlarını kars ̧ılas ̧tırdık ve uygulanabilir etkiyi görmek için gelecekteki farklı çalıs ̧ma senaryoları bulduk. Tezimde, bir RL aracısını eg ̆itebileceg ̆im özelles ̧tirilmis ̧ bir stokastik trafik ortamı gelis ̧tirmeyi hedefliyorum. Daha sonra s ̧erit deg ̆is ̧tirme problemini derin Q ag ̆ları ile çözeceg ̆im. Indirgeme faktörü, kes ̧if oranı ve gizli katmanın boyutu, nöronlar, ög ̆renme hızı gibi sinir ag ̆ı gibi Güçlendirme ög ̆renme tarafı için en uygun parametreleri elde etmek için bir hiper parametre optimizasyon teknig ̆i uyguluyorum. Ayrıca, sezgisel yöntemlere dayalı bir temel algoritma gelis ̧tiriyorum ve RL ajanlarını onunla kars ̧ılas ̧tırıyorum. Dig ̆er çalıs ̧maları kontrol, derin ög ̆renme ve pekis ̧tirmeli ög ̆renme yaklas ̧ımları olarak sınıflandırabilirim. Dig ̆er yöntemler klasik yöntemlere göre daha iyi çözümler sunsa da, eg ̆itim aldıkları belirli alanlara uygulanabilir ve farklı alanlardan yeni girdiler sag ̆landıg ̆ında, genelleme yeteneklerini azaltan optimal çözümler vermede bas ̧arısız olurlar. Bu çalıs ̧maya ilgi duyan dig ̆er bir yaklas ̧ım, pekis ̧tirmeli ög ̆renmedir. RL'ye dayalı yaklas ̧ımlar çevre ile etkiles ̧ime girdig ̆i için, önceki yaklas ̧ımlardan daha iyi genelles ̧tirebildig ̆i gibi belirsiz ortamlara kars ̧ı da dayanıklıdır. Özellik çıkarıcı olarak kullanılan derin sinir ag ̆ı sayesinde uzun vadeli kararlar verebilirler.Is ̧ime en uygun yaklas ̧ım, pekis ̧tirmeli ög ̆renmeye dayalı yaklas ̧ımlardır. Son zamanlarda bu alanda pek çok çalıs ̧ma yapıldı. Süpervizör, tahmin edilen gözlem vektörünü ve gerçek deg ̆erleri izler. RL'nin belirsiz ortamlarda, ölçüm seslerine dayanıklı daha genel ve muhafazakar politikalar üreterek klasik karar verme yaklas ̧ımlarından daha iyi performans gösterebileceg ̆ini gösterirler. En son teknolojiye sahip yaklas ̧ımlar umut verici sonuçlar gösterse de, çalıs ̧malarımın geldig ̆i yerde RL performansı ve ayrıntılı hiperparametre optimizasyonu için uygun bir analiz sag ̆lamakta eksikler. Markov karar süreci, pekis ̧tirmeli ög ̆renme probleminin resmiles ̧tirilmesidir. MDP'ye dayalı bir problemi resmiles ̧tirirsek, bunu RL çözümleri ile çözmeye çalıs ̧mak gibi pekis ̧tirmeliög ̆renmeproblemiolarakdüs ̧ünebilirizdiyebilirim. Temelolarak,bir MDP, 5 parçalı bir durum, eylem, geçis ̧ modeli, ödül ve indirim faktörüdür. Örnek olarak, eg ̆er temsilci harekete geçerse, hiçbir s ̧ey olmama olasılıg ̆ı vardır ve aynı durumda kalırsa, ödülsüz bas ̧ka bir duruma geçme olasılıg ̆ı vardır. Çevremiz sezgisel olarak benzer kuralları takip eder. RL'nin amaç fonksiyonuna bag ̆lı olarak, rho'nun ödül fonksiyonu oldug ̆u ve gama'nıngelecektekiadımlarınekadarönemsedig ̆imizitanımlayanbirindirimfaktörü oldug ̆u kümülatif ödülü maksimize etmek amaçlanmaktadır. Bu sorunun çözümü, durum-eylem çiftlerinin deg ̆erini tanımlayan özyinelemeli bellman formülüdür. Katkılarım, bir RL ajanını eg ̆itebileceg ̆im, karar verme problemine uygun özelles ̧tirilmis ̧ bir trafik ortamı olus ̧turmaktır. Sinir ag ̆ının Q- Derin RL'ye olan ihtiyacı tanımlayan DQN çerçevesindeki deg ̆er tahmincisi. Ayrıca, sezgisel sonsuz durum makinesini kullanarak politika üreten bir temel model tasarladım. Nihayetinde, Deep RL'deki farklı tür durum veya gözlem temsillerini analiz ediyor ve yorumluyorum.Kurala dayalı bir temel ile DNN ve CNN tabanlı RL'nin kars ̧ılas ̧tırma sonuçlarını görebilirsiniz.Gelecekte, çalıs ̧malarımı dinamik arabalar, gerçekçi grafikler ve daha iyi senaryo olus ̧turmayı içeren yüksek kaliteli bir simülasyon kullanacak s ̧ekilde genis ̧letmek istiyorum. Ayrıca, düs ̧ük seviyeli denetleyicinin yerinde kalacak kadar iyi oldug ̆una inandıg ̆ım için, üst düzey karar verme olarak RL'yi kullanmak ve eylemleri gerçekles ̧tirmek için düs ̧ük düzey denetleyicileri kullanmak istiyorum.
Özet (Çeviri)
Autonomous cars play a significant role in the future of transportation. Due to the progress in Artificial Intelligence, it is anticipated that future smart cars and trucks will be driverless, accident avoiding, and efficient. They eliminate human driving errors and supply safe travel by reducing reaction time lag and safe lane change. To reach these goals, automakers have invested in the research areas regarding the current challenges to reach the expected results. Following the recent advancement in machine-learning algorithms, it is expected that driver-less cars will appear in the market within the next two decades. Self-driving cars received considerable attention during the past ten years. The concurrency of this attention with the rise of deep learning and deep reinforcement learning algorithms is not a coincidence. Deep learning algorithms found their path into the autonomous vehicle applications first by applying convolutional neural networks (CNN) to image classifications. The obtained promising results have motivated researchers in the area of the autonomous vehicles to utilize deep neural networks in the perception layer of the advanced driver-assistance systems (ADAS). The perception layer in ADAS is responsible for detecting and classifying actors surrounding the ego vehicle, e.g., cars, pedestrians, and cyclists. After creating a bird-eye-view (BEV) mapping of the environment, the sensor fusion layer identifies and tracks the other actors in the scene. Then, a decision-making algorithm produces high-level actions - e.g., ChangeLane, Accelerate, or Stop - to minimize a pre-defined cost function, usually to avoid collisions and achieve a goal location as soon as possible. Trivially, after producing optimal high-level actions, lower-level controllers generate the desired throttle and steering angle to follow the given commands. This thesis investigates autonomous lane-change by utilizing different methods such as Q-table, reinforcement learning, and neural network. The autonomous lane change is one of the crucial parts of ADAS's decision-making center, especially while driving on highways. Currently, the autonomous vehicles, that actively drive in cities cannot perform safe and reliable lane changes without relying on the human driver. Most of the companies utilize the Finite State Machine approaches to generate heuristic decisions based on the driving situation. However, these techniques may not generalize enough to capture different driving situations affected by the environment, road, and traffic conditions. Recently, Reinforcement Learning algorithms have shown promising results in producing discrete actions by observing discrete and continuous environments. Thus, we have decided to apply these algorithms to tactical decision making in highway driving tasks for self-driving cars. To this end, we have simulated the grid-world of the car on PyGame environment with four number of lanes and three different actions such as turning left, turning right, and stay on the lane. Finally, we compared the results of different methods and came up with different future work scenarios to see the feasible impact.
Benzer Tezler
- A human driver model for autonomous lane changing in highways: Predictive fuzzy Markov game driving strategy
Başlık çevirisi yok
SERDAR COŞKUN
- Hybrid controller approach for an autonomous ground vehicle path tracking problem
Otonom bir kara aracının yol takibi problemi için hibrit kontrolör yaklaşımı
MERTCAN CİBOOĞLU
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET TURAN SÖYLEMEZ
- Boşluğu takip et metodu ile otonom sollama manevrası tasarımı
Autonomous overtaking maneuver design based on follow the gap method
MÜNİRE DAMLA DEMİR
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Machine learning based anomaly detection technique for in-vehicle networks
Araç içi ağlar için makine öğrenmesi tabanlı anomali tespit tekniği
ARİF AKAR
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. KLAUS WERNER SCHMIDT
- Dağıtım merkezlerinde sipariş toplama ve ayrıştırma işlemleri için bütünleşik bir analitik model önerisi
A proposed integrated analytical model for order picking and sortation operations in warehouses
RECEP KIZILASLAN
Doktora
Türkçe
2014
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. DEMET BAYRAKTAR