Geri Dön

Unity3D ortamında derin pekiştirmeli öğrenme ile eğitilen uçakların performansı

Performance evaluation of aircraft agents trained with deep reinforcement learning in Unity3D environment

PDF İndir

  1. Tez No: 855246
  2. Yazar: METE CANTEKİN
  3. Danışmanlar: DR. İBRAHİM FURKAN İNCE, PROF. ONUR OSMAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Sivil Havacılık, Computer Engineering and Computer Science and Control, Civil Aviation
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: İSTANBUL NİŞANTAŞI ÜNİVERSİTESİ
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Yapay Zeka Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 156

Özet

İçinde yaşadığımız evren, fizik yasalarının geçerli olduğu bir simülatör ortamı olarak görülebilir. Ne var ki bir robot ya da video oyun karakteri gibi sentetik bir ajana göre kendi yapay dünyaları haricinde herhangi bir evren ya da simülasyon tanımı yoktur. Bu ajanlar karmaşık talimatlar dizisi ile oluşturulmuş sanal dünyalarında, bu dünyanın fiziği hakkında bilgi edinmek istiyorlarsa, geliştiricinin sakladığı değişkenleri öğrenme yoluyla tespit etmeleri yeterlidir. Bu ajanlar fiziksel dünyamızın zaman değişkeniyle sınırlı olmadıklarından, kendi sanal dünyalarında daha hızlı öğrenebilmektedirler. Bu yüzden günümüzde ajan eğitiminin merkezinde dijital ortam bulunmaktadır. Burada kullanılan bilgisayar simülatörü tabirinden bir algoritmanın çalıştığı ortamı anlamak gerekmektedir. Bu ve benzeri ortamlarda öğrenme süreci çok sayıda eğitim tekrarı gerektirdiğinden, pekiştirmeli öğrenme metodunu algoritma ile simülatör ya da ajan ve çevre arasındaki boşluğu dolduran bir unsur olarak görmek yerinde olacaktır. Unity3D ortamında derin pekiştirmeli öğrenme ile uçak ajan eğitimi çalışmasında bir başlangıç noktasından harekete geçen 4 uçak ajan, yarış rotasındaki 21 adet kontrol noktasından geçtikten sonra belirli sınırlar içerisinde tekrar başlangıç noktasına dönerek bitiş çizgisine ulaşmaktadır. Dolayısıyla uçak ajanlarının ödül ve ceza sistemi ile oluşturulan bu ortamda, engellere çarpmadan kontrol noktalarından geçebilmesi için eğitilmeleri amaçlanmaktadır. Bu doğrultuda uçak ajanların eylemlerinin sonuçlarına göre politikalarını güncelleyebildiği ve onlara gittikçe daha iyi performans göstermelerini sağlayabildiği için Proksimal Politika Optimizasyonu (PPO) algoritmasından yararlanılmıştır. Ayrıca Unity3D ML-Agents aracının kullanımında Reinforcement Learning: AI Flight with Unity ML-Agents adlı örnek çalışmadan yararlanılmıştır. Böylece ML-Agents aracı sayesinde uçak ajanların sinir ağlarındaki PPO davranış parametreleri optimize edilebilmiştir. Bu durumda yapay sinir ağları değiştirildiğinde, uçak ajanlarının performansının da değişebildiği gözlemlenmiştir. Ne var ki pekiştirmeli öğrenmenin kapsam alanı yakın bir tarihte bilgisayar simülasyonunun ötesine geçecek gibi görünmektedir. Bu kapsamdaki çalışmalar oyun karmaşıklığının dengelenmesi kadar bazı robotik simülasyon ve otonom uçuş gibi gerçek yaşam problemlerine de uygulanabilmektedir. Dolayısıyla bu çalışmalar yapay zeka, dijital oyun ve havacılık gibi farklı alanlarda heyecan verici gelişmelere sebep olmaktadır.

Özet (Çeviri)

The universe we live in can be seen as a simulator environment where physical laws are valid. However, for a synthetic agent like a robot or a video game character, there is no definition of any universe or simulation other than their own artificial worlds. If these agents want to learn about the physics of this world in their virtual worlds created by a complex sequence of instructions, they only need to detect the variables hidden by the developer through learning. These agents are not limited by the time variable of our physical world, so they can learn faster in their own virtual worlds. That is why digital environment is at the center of agent training today. It is necessary to understand the environment where an algorithm works from the term computer simulator used here. In such and similar environments, since the learning process requires a large number of training repetitions, it would be appropriate to see the reinforcement learning method as an element that fills the gap between the algorithm and the simulator or the agent and the environment. In the study of aircraft agent training with deep reinforcement learning in Unity3D environment, 4 aircraft agents moving from a starting point reach the finish line by returning to the starting point within certain limits after passing 21 control points on the race route. Therefore, it is aimed to train the aircraft agents in this environment created with the reward and penalty system to pass the control points without hitting the obstacles. In this direction, the Proximal Policy Optimization (PPO) algorithm was used, which allows the aircraft agents to update their policies according to the results of their actions and to provide them with better performance. In addition, the example study Reinforcement Learning: AI Flight with Unity ML-Agents was used in the use of Unity3D ML-Agents tool. Thus, thanks to the ML-Agents tool, the PPO behavior parameters in the neural networks of the aircraft agents could be optimized. In this case, it was observed that the performance of the aircraft agents changed when the artificial neural networks were changed. However, the scope of reinforcement learning seems to go beyond computer simulation in the near future. Studies in this context can be applied to real-life problems such as robotic simulation and autonomous flight as well as balancing game complexity. Therefore, these studies cause exciting developments in different fields such as artificial intelligence, digital games and aviation.

Benzer Tezler

  1. Tez No

    907275

    Augmented reality application in education of children with autism

    Otizmli çocukların eğitiminde artırılmış gerçeklik uygulaması

    ONAT KORUCU

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı

    PROF. HATİCE KÖSE

  2. Tez No

    646781

    Yeraltı madenciliği eğitiminde bazı sanal gerçeklik uygulamaları

    Some virtual reality applications in underground mining education

    MUSTAFA GÜRSOY

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Maden Mühendisliği ve MadencilikAfyon Kocatepe Üniversitesi

    Maden Mühendisliği Ana Bilim Dalı

    PROF. DR. İSMAİL SEDAT BÜYÜKSAĞİŞ

  3. Tez No

    459628

    Using evolutionary algorithms for designing novel 3D objects

    Evrimsel algoritmalar kullanılarak özgün 3D nesne tasarımı

    YAVUZ SELİM DOĞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldırım Beyazıt Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. FATİH VEHBİ ÇELEBİ

    YRD. DOÇ. DR. HİLAL KAYA

  4. Tez No

    860826

    Çocukların matematik, dil ve görsel algı becerilerinin geliştirilmesinde oyunlaştırmanın etkisinin araştırılması

    Exploring the impact of gamification on the development of children's mathematical, language, and visual perception skills

    ÖZLEM CİVELEK BAYRAKTAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı

    PROF. DR. CEMİL ÖZ

  5. Tez No

    561817

    Makine ve imalat mühendisliğinde kullanılmak üzere sanal ve arttırılmış gerçeklik uygulamaları geliştirilmesi

    Development of application of virtual & augmented reality to use mechanical and manufacturing engineering

    MUHAMMED KOFOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Makine MühendisliğiBursa Uludağ Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. ABDİL KUŞ

Geri Dön