Öndeki aracı geçme probleminin derin pekiştirmeli öğrenme yöntemiyle modellenerek otonom sistem tasarımı
Autonomous system design by modeling the problem of passing the front vehicle with deep reinforcement learning method
- Tez No: 821260
- Danışmanlar: DR. ÖĞR. ÜYESİ FEHİM KÖYLÜ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 79
Özet
Yapay zekâ alanında yapılan gelişmeler ile birlikte insanlar tarafından yapılan işler yapay sistemler tarafından da yapılır hale gelmiştir. Birçok alanda yapay zekâ tabanlı sistemler ile büyük başarımlar elde edilse de insan sürücüsüz araçlar olan otonom araçların performansı henüz yeterli seviyede olmayıp gelişime açıktır. Öndeki aracı geçme, en çok uygulanan araç davranışlarından biridir. Otonom araçlar zaman, konfor ve güvenlik yönünden zarara uğramamak için bu kabiliyete sahip olmalıdır. Otonom araç görevlerindeki son yaklaşımlar, sürüş davranışlarının zor ve karmaşık yapısı nedeni ile derin öğrenme tabanlı makine öğrenmesi yaklaşımlarıdır. Bu tez çalışmasında, derin pekiştirmeli öğrenme algoritmalarının öndeki aracı geçme problemi üzerindeki etkinliği simülasyon ortamlarında incelenmiştir. Oluşturulan ilk ortam, otonom aracın bir zaman adımında belirlenen eylem kümesinden bir tanesini seçebileceği kesikli eylem uzayında, diğer ortam ise belirli değer aralığından eylem seçimi yapabileceği sürekli eylem uzayında oluşturulmuştur. Üçüncü bir ortam ise öncelikle alt bir göreve odaklanarak müfredat öğrenme yaklaşımı ile kesikli eylem uzayında eğitilen modellerin performansını artırmak için oluşturulmuştur. Çalışmada derin Q-ağları, avantaj aktör kritik, proksimal politika optimizasyonu ve esnek aktör kritik algoritmaları kullanılmıştır. Bu algoritmalar farklı hiperparametre ayarlarında eğitilerek model sayıları artırılmıştır. Algoritmaların ilgili görevi çözmede hiperparametre değişikliğinden etkilendiği belirlenmiştir. Kesikli eylem uzayında eğitilen bir proksimal politika optimizasyonu modeli ve sürekli eylem uzayında eğitilen bir esnek aktör kritik modeli diğer modellere göre daha başarılı olmuşlardır. Ayrıca müfredat öğrenimi yaklaşımı ile derin Q-ağları ile eğitilen bir modelin performansı artırılarak yaklaşımın olumlu etkisi görülmüştür.
Özet (Çeviri)
With the developments made in the field of artificial intelligence, the work done by humans has become done by artificial systems. Although great success has been achieved with artificial intelligence-based systems in many areas, the performance of autonomous vehicles, which are human driverless vehicles, is not yet at a sufficient level and is open to improvement. Passing the vehicle in front is one of the most common vehicle behaviors. Autonomous vehicles must have this capability to avoid losses in time, comfort and safety. Recent approaches in autonomous vehicle tasks are deep learning-based machine learning approaches due to the difficult and complex nature of driving behaviors. In this thesis, the effectiveness of deep reinforcement learning algorithms on the overtaking problem was investigated in simulation environments. The first environment is a discrete action space where the autonomous vehicle can choose one action from a set of actions in a time step, and the second environment is a continuous action space where the autonomous vehicle can choose actions from a range of values. A third environment was created to improve the performance of the models trained in discrete action space with a curriculum learning approach, focusing primarily on a sub-task. Deep Q-networks, advantage actor critic, proximal policy optimization and soft actor critic algorithms were used in the study. These algorithms were trained with different hyperparameter settings to increase the number of models. The algorithms were found to be affected by the hyperparameter change in solving the task of interest. A proximal policy optimization model trained in discrete action space and a soft actor critic model trained in continuous action space were more successful than the other models. In addition, the curriculum learning approach improved the performance of a model trained with deep Q-networks, showing the positive impact of the approach.
Benzer Tezler
- Automated lane change decision making for autonomous vehicles using machine learning techniques
Makine öğrenmesi teknikleri ile otonom araçlarda şerit değişimine karar verme
MEHDI NASIRI
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. GÜLAY ÖKE GÜNEL
- Tasarım sürecinde bilişsel yeti olarak imgelem ve kavram
Imagination and concepts as cognitive faculties in design process
NİLGÜN KÖMÜRCÜOĞLU TURAN
Doktora
Türkçe
2002
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. NUR ESİN ALTAŞ
- Educational reforms in Ethiopia: From the imperial era to the present
Etiyopya'da eğitim reformları: Emperyal dönemden günümüze
SALİH AHMED MAHAMMODA
Doktora
İngilizce
2022
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. İSA KORKMAZ
- Afet lojistiğinde araç rotalama problemi ve geliştirilen iki aşamalı bir optimizasyon yöntemi ile uygulama
Vehicle routing problem and a case study with evolved a two level optimization solution in humanitarian logistics
MUSTAFA BAL
Yüksek Lisans
Türkçe
2020
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
PROF. DR. HÜSEYİN MURAT ÇELİK
- Dynamics of structured populations and an optimal harvesting model
Yapılandırılmış popülasyonların dinamiği ve bir optimal ürün alma modeli
CELİL EKİCİ
Yüksek Lisans
İngilizce
1995
MatematikOrta Doğu Teknik ÜniversitesiPROF.DR. OKTAY ÇELEBİ
Y.DOÇ.DR. BİLLUR KAYMAKÇALAN