Geri Dön

Öndeki aracı geçme probleminin derin pekiştirmeli öğrenme yöntemiyle modellenerek otonom sistem tasarımı

Autonomous system design by modeling the problem of passing the front vehicle with deep reinforcement learning method

  1. Tez No: 821260
  2. Yazar: YASİN ATILKAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ FEHİM KÖYLÜ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Erciyes Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 79

Özet

Yapay zekâ alanında yapılan gelişmeler ile birlikte insanlar tarafından yapılan işler yapay sistemler tarafından da yapılır hale gelmiştir. Birçok alanda yapay zekâ tabanlı sistemler ile büyük başarımlar elde edilse de insan sürücüsüz araçlar olan otonom araçların performansı henüz yeterli seviyede olmayıp gelişime açıktır. Öndeki aracı geçme, en çok uygulanan araç davranışlarından biridir. Otonom araçlar zaman, konfor ve güvenlik yönünden zarara uğramamak için bu kabiliyete sahip olmalıdır. Otonom araç görevlerindeki son yaklaşımlar, sürüş davranışlarının zor ve karmaşık yapısı nedeni ile derin öğrenme tabanlı makine öğrenmesi yaklaşımlarıdır. Bu tez çalışmasında, derin pekiştirmeli öğrenme algoritmalarının öndeki aracı geçme problemi üzerindeki etkinliği simülasyon ortamlarında incelenmiştir. Oluşturulan ilk ortam, otonom aracın bir zaman adımında belirlenen eylem kümesinden bir tanesini seçebileceği kesikli eylem uzayında, diğer ortam ise belirli değer aralığından eylem seçimi yapabileceği sürekli eylem uzayında oluşturulmuştur. Üçüncü bir ortam ise öncelikle alt bir göreve odaklanarak müfredat öğrenme yaklaşımı ile kesikli eylem uzayında eğitilen modellerin performansını artırmak için oluşturulmuştur. Çalışmada derin Q-ağları, avantaj aktör kritik, proksimal politika optimizasyonu ve esnek aktör kritik algoritmaları kullanılmıştır. Bu algoritmalar farklı hiperparametre ayarlarında eğitilerek model sayıları artırılmıştır. Algoritmaların ilgili görevi çözmede hiperparametre değişikliğinden etkilendiği belirlenmiştir. Kesikli eylem uzayında eğitilen bir proksimal politika optimizasyonu modeli ve sürekli eylem uzayında eğitilen bir esnek aktör kritik modeli diğer modellere göre daha başarılı olmuşlardır. Ayrıca müfredat öğrenimi yaklaşımı ile derin Q-ağları ile eğitilen bir modelin performansı artırılarak yaklaşımın olumlu etkisi görülmüştür.

Özet (Çeviri)

With the developments made in the field of artificial intelligence, the work done by humans has become done by artificial systems. Although great success has been achieved with artificial intelligence-based systems in many areas, the performance of autonomous vehicles, which are human driverless vehicles, is not yet at a sufficient level and is open to improvement. Passing the vehicle in front is one of the most common vehicle behaviors. Autonomous vehicles must have this capability to avoid losses in time, comfort and safety. Recent approaches in autonomous vehicle tasks are deep learning-based machine learning approaches due to the difficult and complex nature of driving behaviors. In this thesis, the effectiveness of deep reinforcement learning algorithms on the overtaking problem was investigated in simulation environments. The first environment is a discrete action space where the autonomous vehicle can choose one action from a set of actions in a time step, and the second environment is a continuous action space where the autonomous vehicle can choose actions from a range of values. A third environment was created to improve the performance of the models trained in discrete action space with a curriculum learning approach, focusing primarily on a sub-task. Deep Q-networks, advantage actor critic, proximal policy optimization and soft actor critic algorithms were used in the study. These algorithms were trained with different hyperparameter settings to increase the number of models. The algorithms were found to be affected by the hyperparameter change in solving the task of interest. A proximal policy optimization model trained in discrete action space and a soft actor critic model trained in continuous action space were more successful than the other models. In addition, the curriculum learning approach improved the performance of a model trained with deep Q-networks, showing the positive impact of the approach.

Benzer Tezler

  1. Automated lane change decision making for autonomous vehicles using machine learning techniques

    Makine öğrenmesi teknikleri ile otonom araçlarda şerit değişimine karar verme

    MEHDI NASIRI

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. GÜLAY ÖKE GÜNEL

  2. Tasarım sürecinde bilişsel yeti olarak imgelem ve kavram

    Imagination and concepts as cognitive faculties in design process

    NİLGÜN KÖMÜRCÜOĞLU TURAN

    Doktora

    Türkçe

    Türkçe

    2002

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. NUR ESİN ALTAŞ

  3. Educational reforms in Ethiopia: From the imperial era to the present

    Etiyopya'da eğitim reformları: Emperyal dönemden günümüze

    SALİH AHMED MAHAMMODA

    Doktora

    İngilizce

    İngilizce

    2022

    Eğitim ve ÖğretimNecmettin Erbakan Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. İSA KORKMAZ

  4. Afet lojistiğinde araç rotalama problemi ve geliştirilen iki aşamalı bir optimizasyon yöntemi ile uygulama

    Vehicle routing problem and a case study with evolved a two level optimization solution in humanitarian logistics

    MUSTAFA BAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    PROF. DR. HÜSEYİN MURAT ÇELİK

  5. Dynamics of structured populations and an optimal harvesting model

    Yapılandırılmış popülasyonların dinamiği ve bir optimal ürün alma modeli

    CELİL EKİCİ

    Yüksek Lisans

    İngilizce

    İngilizce

    1995

    MatematikOrta Doğu Teknik Üniversitesi

    PROF.DR. OKTAY ÇELEBİ

    Y.DOÇ.DR. BİLLUR KAYMAKÇALAN