Improving lane change decisions in autonomous driving using adversarial learning
Otonom sürüşte şerit değiştirme kararlarının karşıt öğrenme yöntemiyle iyileştirilmesi
- Tez No: 945213
- Danışmanlar: PROF. DR. MUSTAFA DOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 97
Özet
Otonom araç teknolojisi giderek daha fazla ilgi çekiyor ve gelecekte ulaşımın şeklini değiştirecek gibi görünüyor. Yapay zeka ve otomasyondaki gelişmelere bağlı olarak ilerleyen zamanlarda akıllı araçlar sürücü olmadan daha güvenli ve verimli bir şekilde yol alacaklar. İnsan sürücülerin yapabileceği hataları en aza indirerek seyahatleri daha güvenli hale getirecekler. Otomobil endüstrisi bu hedefe ulaşabilmek adına mevcut sorunları çözmek için yoğun bir şekilde çalışıyor. Makine öğrenme algoritmalarındaki ilerlemeler sayesinde otonom araç teknolojisinin kademeli olarak piyasaya sunulmaya başlanacak gibi gözüküyor. Son on yılda otonom araç teknolojisi büyük ilgi gördü ve gelişimine devam ediyor. Makine öğrenmesi paradigmalarının ve algoritmalarının gelişimi, büyük ölçekli gerçek zamanlı sensör verilerinin toplanması ve etiketlenmesi ile LiDAR ve görüntü işleme sistemleri gibi bileşenlerin uygulanması, tam otonomiyi sağlama çabasında önemli rol oynamaktadır. Otonom sürüş alanında kaydedilen ilerlemelere rağmen, yüksek otomasyona sahip araçlar hala kontrollü ortamlar ve belirli coğrafi bölgelerle sınırlıdır. Bu karmaşıklığı sadeleştirmek için, Seviye 0'dan (otonom olmayan) Seviye 5'e (tam otomatik sürüş) kadar uzanan otonomi seviyeleri tanımlanmıştır. Tam sürüş otomasyonunu ifade eden Seviye 5 henüz gerçekleştirilememiş olsa da daha düşük otonomi seviyeleri belirli uygulamalarda kullanılmaktadır. Derin öğrenme ve takviyeli öğrenme algoritmalarının geliştirildikleri zaman diliminde ADAS'ın da gelişim göstermesi tesadüfi değildir. İlk olarak görüntü sınıflandırması için CNN'nin kullanılmasıyla otonom araç uygulamalarına entegre olan derin öğrenme algoritmaları umut verici sonuçlar ortaya koymuş ve bu da araştırmacıları ADAS algılama katmanında derin sinir ağlarını uygulamaya teşvik etmiştir. ADAS'taki algılama katmanı ego aracın çevresindeki aktörleri (örneğin arabalar, yaya ve bisiklet sürücüleri gibi) tanımlar ve kategorize eder. Kuşbakışı haritasını oluşturduktan sonra sensör birleştirme katmanı diğer aktörleri belirler ve takip eder. Sonrasında bir karar verme algoritması genellikle çarpışmayı önlemek ve hedef konuma minimum sürede ulaşmak için belirli bir masraf fonksiyonunu optimize etmek amacıyla yüksek seviyeli aksiyonlar (örneğin şerit değiştirme, hızlanma veya durma) üretir. Basitçe optimal yüksek seviyeli aksiyonlar üretildikten sonra alt seviyede yer alan kontrolcüleri belirtilmiş komutları takip etmek için gerekli olan hız talebi ve direksiyona açısını üretir. Bu çalışma kapsamında taklit öğrenme, ters takviyeli öğrenme, karşıt sinir ağı, takviyeli öğrenme politikası gibi farklı yaklaşımları kullanarak otonom şerit değiştirme yöntemleri araştırılmaktadır. Otonom şerit değiştirme sürecinde özellikle otoyollarda ADAS'ın karar verme sistemi için oldukça kritik bir rol oynamaktadır. Güncel olarak kentsel alanlarda kullanılan otonom arabalar, insan sürücü müdahalesi veya varlığı olmadan güvenli ve güvenilir şerit değişiklikleri yapmaları kısıtlanmıştır. Birçok kuruluş genellikle belirli teknikler kullanarak sezgisel kararlar üretmektedir. Fakat bu teknikler çevresel ve trafik koşullarına göre değişen sürüş durumlarını yeterince kontrol etmede zorlanabilir. Son yıllarda takviyeli öğrenme algoritmaları sürekli ve ayrık ortamları dikkate alarak umut vadeden sonuçlar göstermiştir. Bu sebeple otoyol sürüş görevlerinde kullanılmak üzere bu algoritmaları otonom araçlar için stratejik kararlarda kullanmaya karar verdik. Bu amaçla Carla ile Highway-env gibi ortamları dört şeritli otoyol oluşturarak modellendirdik; hızlanma, yavaşlama, sabit hızda seyretme; sol şeride geçme, sağ şeride geçme ve şeritte kalma gibi eylemleri simüle ettik. Son olarak iki ayrı çevrim dışı öğrenme tekniği sonuçlarını karşılaştırarak gelecekteki çalışma senaryolarında uygulanabilirliği gözlemledik. Kullandığımız algoritmalar her adımda ego aracın bulunduğu şeritteki en yakın aracı belirler ve ego aracın şerit numarasıyla birlikte şerit değiştirmeye mi yoksa kendi şeridi üzerinde kalmaya mı karar vereceğini belirler. Her durum-eylem çifti beklenen gelecekteki ödülü temsil eder. Simülasyonda belirli bir sayıda adım için çalışma yapıldığında özellikle ödüller sabit değerlere yakınsar. Test aşamasında model en yüksek beklenen ödüle sahip manevrayı seçerek insan kontrolündeki sürüş davranışına uygun olarak hedefine ulaşır. Bu yöntemi uygulayarak, araçların çarpışmasını önlemek için insan sürücülerin politikalarına benzer bir politika öğrenen bir araç gözlemledik. Ancak eğitim verilerinde yeterince temsil edilmeyen sürüş manevraları nedenli zorluklar yaşandı. Etkenlerin öğrenmesi için yeterli çeşitlilikte gösteri verisi olmadığında, görülmeyen koşullara başarılı bir şekilde genelleme yapma yeteneklerinin azaldığını gördük. Ek manevra seçenekleri belirlendi ve gerçek dünya sürüşünde daha tutarlı otoyol otonom sürüş kararları üretmek için ek sürüş özellikleri incelendi. Verilerden öğrenme ve daha önce karşılaşılmamış durumlara genelleme yapma yeteneği otonom araç uygulamaları için önemli bir faktördür. Sürüşte gerçek zamanlı olayların hem reaktif hem de proaktif olarak algılanması gerekmektedir; bu da dinamik senaryoların, görevlerin ve risklerin karmaşık doğasının bir parçasıdır ve bu durum karmaşık bir sorun alanıdır. Böylesine geniş bir sorun alanını ele almak için bilgi durumlarını ve arama süreçlerini kapsayan bir veri kümesi geliştirmek ve sürdürmek doğası gereği zordur. Ayrıca, otonom araçlar bağlamında otoyol sürüş görevlerinin karmaşıklığı analiz edildi ve analizi doğrulamak için durum-eylem ödülleri ve çarpışma ölçümleri şeklinde kanıtlar sağlandı. Son olarak, bu çalışma taklit öğrenmenin ve ters takviye öğrenmesinin takviye öğrenmesinin belirli sürüş senaryoları için eğitim ve genelleme yeteneklerini geliştirdiğini gösterse de özetlenen sürüş senaryolarında karar alma yeteneklerini geliştirmek için birleşik bir yaklaşım olarak en son algoritmaları entegre etmek için daha fazla araştırmaya ihtiyaç vardır. Ek olarak, ego aracının çevresini matematiksel olarak temsil eden modülleri içeren gerçekçi bir simülasyon ortamına geçmek, bu araştırmanın pratik yararlarını daha da doğrulayacaktır. Özetle, bu çalışma CARLA simülasyon ortamında otoyol sürüş senaryolarında GAIL ve AIRL algoritmalarının karar verme performanslarını değerlendiren bir çalışmadır ve çevrimdışı öğrenme yöntemlerinin otonom sürüşte yüksek seviyeli karar alma için güvenliği sağlamada konusundaki performanslarını değerlendirmektedir. Uzman sürücüden öğrenilen stratejilerle ajanların ödül çıkarımı yaparak etkili şekilde davranış sergilemesi sağlanmış, PPO ile entegre edilen hibrit yapı sayesinde öğrenme süreci daha dengeli ve verimli hale getirilmiştir. Bu algoritmalar gerçek dünyada uygulanabilir otonom sürüş sistemleri için önemli bir adım niteliğindedir; ancak, en iyi kararları üretmek için ek bileşenler ile zenginleştirilmelidir. Taklit ve ters takviye öğrenme algoritmaları ile verimli bir karşıt ağ mimarisi kullanılarak eğitilen bir araçla çarpışma önleme ve şerit değiştirme politikasını öğrenerek bir aracın güvenli ve akıllı sürüş yapmasını sağlamayı hedeflenmektedir.
Özet (Çeviri)
Autonomous vehicles are the future of transportation. This is due to the technological improvement for future smart cars since they will have AI based driving, they will be driverless, accident-free, and efficient. The improvement in technology will minimize the problems such as human failure, delayed driver's, and the unsecured lane change, and hence traveling becomes safe. To achieve these goals, car makers have invested in research areas that are relevant to the current challenges in order to meet the ideal goals. With the current development in machine learning, autonomous vehicles are now being used within specific geographic regions, and it is expected that they will be used in a wide area in the market in the near future. Autonomous vehicles have been in the spotlight for the past decade. It is no coincidence that this is simultaneous with the creation of deep learning models. Deep learning models were first introduced to autonomous vehicle systems through the use of convolutional neural networks (CNN) for image classification. The obtained outcomes motivated the researchers to create self-driving cars that utilize deep neural networks within the perception layer of advanced driver assistance systems (ADAS). The perception layer of ADAS defines the sensors that detect and classify objects within the ego vehicle's surroundings, including other cars, pedestrians, and cyclists. The sensor fusion layer receives the bird's eye view (BEV) map of the environment and recognizes and tracks other objects in the surroundings. Then, a decision making algorithm identifies high level actions (such as change lane, acceleration, or deceleration) that optimize a given cost function, to avoid collision and to arrive at a given location with the shortest possible time. After the optimal high level actions are determined, the low level controllers produce the required speed demand and steering angle to track the specified trajectories. This thesis investigates self-driving lane changing strategies using imitation learning, inverse reinforcement learning, adversarial neural network, and reinforcement learning policy. One of the most significant parts of the decision making component of ADAS is autonomous lane changing during highway driving. Current autonomous vehicles available in urban areas are limitedly capable of performing safe and reliable lane changes on their own without the help of a human driver. Almost all organizations develop driving strategies to come up with reasonable decisions based on the context of the traffic. However, it is possible that such approaches may not be sufficiently comprehensive to capture a variety of scenarios that may occur on the road depending on the environment, the road and other traffic. Over the last few years, reinforcement learning algorithms could produce discrete actions in simulation environments. Hence, we implemented these algorithms for the decision making and planning of highway controls in self-driving vehicles. For this, we also built Carla and Highway-env environments with four lanes and actions like left turn, right turn, stay in lane, speed up, and slow down. Finally, we compare the result of two different adversarial learning approaches which are adversarial inverse reinforcement learning (AIRL) and generative adversarial imitation learning (GAIL) and present different work scenarios to figure out the applicability and efficiency of the proposed schemes.
Benzer Tezler
- Collision avoidance and crash mitigation via intelligent steering intervention
Aktı̇f dı̇reksı̇yon müdahalesı̇ ı̇le kaza önlenmesı̇ ve çarpışma etkı̇sı̇nı̇n azaltılması
HASAN ŞAHİN
Doktora
İngilizce
2020
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGEN AKALIN
- Applications of multi-agent systems in transportation
Ulaşımda çoklu ajan sistemlerinin uygulamaları
İLHAN TUNÇ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET TURAN SÖYLEMEZ
- İstanbul'da otopark problemi 'Şişli-Beşiktaş örneği'
Başlık çevirisi yok
A.SİNAN ÖZEL
Yüksek Lisans
Türkçe
1996
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiPROF.DR. AYTEN ÇETİNER
- A comparative study of nonlinear model predictive control and reinforcement learning for path tracking
Yol izleme için doğrusal olmayan model öngörülü kontrol ve pekiştirmeli öğrenmenin karşılaştırmalı çalışması
GAMZE TÜRKMEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. OVSANNA SETA ESTRADA
- İstanbul Boğazı gemi trafiğinde balıkçı teknelerinin seyir emniyetine etkileri
The fishing vessels which are considered to be potential risks to the vessel traffic and navigational safety of İstanbul Straight
MERİÇ KARAHALİL
Yüksek Lisans
Türkçe
2016
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF VOLKAN AYDOĞDU