Unity3D ortamında derin pekiştirmeli öğrenme ile eğitilen uçakların performansı
Performance evaluation of aircraft agents trained with deep reinforcement learning in Unity3D environment
- Tez No: 855246
- Danışmanlar: DR. İBRAHİM FURKAN İNCE, PROF. ONUR OSMAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Sivil Havacılık, Computer Engineering and Computer Science and Control, Civil Aviation
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İSTANBUL NİŞANTAŞI ÜNİVERSİTESİ
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Mühendisliği Bilim Dalı
- Sayfa Sayısı: 156
Özet
İçinde yaşadığımız evren, fizik yasalarının geçerli olduğu bir simülatör ortamı olarak görülebilir. Ne var ki bir robot ya da video oyun karakteri gibi sentetik bir ajana göre kendi yapay dünyaları haricinde herhangi bir evren ya da simülasyon tanımı yoktur. Bu ajanlar karmaşık talimatlar dizisi ile oluşturulmuş sanal dünyalarında, bu dünyanın fiziği hakkında bilgi edinmek istiyorlarsa, geliştiricinin sakladığı değişkenleri öğrenme yoluyla tespit etmeleri yeterlidir. Bu ajanlar fiziksel dünyamızın zaman değişkeniyle sınırlı olmadıklarından, kendi sanal dünyalarında daha hızlı öğrenebilmektedirler. Bu yüzden günümüzde ajan eğitiminin merkezinde dijital ortam bulunmaktadır. Burada kullanılan bilgisayar simülatörü tabirinden bir algoritmanın çalıştığı ortamı anlamak gerekmektedir. Bu ve benzeri ortamlarda öğrenme süreci çok sayıda eğitim tekrarı gerektirdiğinden, pekiştirmeli öğrenme metodunu algoritma ile simülatör ya da ajan ve çevre arasındaki boşluğu dolduran bir unsur olarak görmek yerinde olacaktır. Unity3D ortamında derin pekiştirmeli öğrenme ile uçak ajan eğitimi çalışmasında bir başlangıç noktasından harekete geçen 4 uçak ajan, yarış rotasındaki 21 adet kontrol noktasından geçtikten sonra belirli sınırlar içerisinde tekrar başlangıç noktasına dönerek bitiş çizgisine ulaşmaktadır. Dolayısıyla uçak ajanlarının ödül ve ceza sistemi ile oluşturulan bu ortamda, engellere çarpmadan kontrol noktalarından geçebilmesi için eğitilmeleri amaçlanmaktadır. Bu doğrultuda uçak ajanların eylemlerinin sonuçlarına göre politikalarını güncelleyebildiği ve onlara gittikçe daha iyi performans göstermelerini sağlayabildiği için Proksimal Politika Optimizasyonu (PPO) algoritmasından yararlanılmıştır. Ayrıca Unity3D ML-Agents aracının kullanımında Reinforcement Learning: AI Flight with Unity ML-Agents adlı örnek çalışmadan yararlanılmıştır. Böylece ML-Agents aracı sayesinde uçak ajanların sinir ağlarındaki PPO davranış parametreleri optimize edilebilmiştir. Bu durumda yapay sinir ağları değiştirildiğinde, uçak ajanlarının performansının da değişebildiği gözlemlenmiştir. Ne var ki pekiştirmeli öğrenmenin kapsam alanı yakın bir tarihte bilgisayar simülasyonunun ötesine geçecek gibi görünmektedir. Bu kapsamdaki çalışmalar oyun karmaşıklığının dengelenmesi kadar bazı robotik simülasyon ve otonom uçuş gibi gerçek yaşam problemlerine de uygulanabilmektedir. Dolayısıyla bu çalışmalar yapay zeka, dijital oyun ve havacılık gibi farklı alanlarda heyecan verici gelişmelere sebep olmaktadır.
Özet (Çeviri)
The universe we live in can be seen as a simulator environment where physical laws are valid. However, for a synthetic agent like a robot or a video game character, there is no definition of any universe or simulation other than their own artificial worlds. If these agents want to learn about the physics of this world in their virtual worlds created by a complex sequence of instructions, they only need to detect the variables hidden by the developer through learning. These agents are not limited by the time variable of our physical world, so they can learn faster in their own virtual worlds. That is why digital environment is at the center of agent training today. It is necessary to understand the environment where an algorithm works from the term computer simulator used here. In such and similar environments, since the learning process requires a large number of training repetitions, it would be appropriate to see the reinforcement learning method as an element that fills the gap between the algorithm and the simulator or the agent and the environment. In the study of aircraft agent training with deep reinforcement learning in Unity3D environment, 4 aircraft agents moving from a starting point reach the finish line by returning to the starting point within certain limits after passing 21 control points on the race route. Therefore, it is aimed to train the aircraft agents in this environment created with the reward and penalty system to pass the control points without hitting the obstacles. In this direction, the Proximal Policy Optimization (PPO) algorithm was used, which allows the aircraft agents to update their policies according to the results of their actions and to provide them with better performance. In addition, the example study Reinforcement Learning: AI Flight with Unity ML-Agents was used in the use of Unity3D ML-Agents tool. Thus, thanks to the ML-Agents tool, the PPO behavior parameters in the neural networks of the aircraft agents could be optimized. In this case, it was observed that the performance of the aircraft agents changed when the artificial neural networks were changed. However, the scope of reinforcement learning seems to go beyond computer simulation in the near future. Studies in this context can be applied to real-life problems such as robotic simulation and autonomous flight as well as balancing game complexity. Therefore, these studies cause exciting developments in different fields such as artificial intelligence, digital games and aviation.
Benzer Tezler
- Augmented reality application in education of children with autism
Otizmli çocukların eğitiminde artırılmış gerçeklik uygulaması
ONAT KORUCU
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
PROF. HATİCE KÖSE
- Yeraltı madenciliği eğitiminde bazı sanal gerçeklik uygulamaları
Some virtual reality applications in underground mining education
MUSTAFA GÜRSOY
Yüksek Lisans
Türkçe
2020
Maden Mühendisliği ve MadencilikAfyon Kocatepe ÜniversitesiMaden Mühendisliği Ana Bilim Dalı
PROF. DR. İSMAİL SEDAT BÜYÜKSAĞİŞ
- Using evolutionary algorithms for designing novel 3D objects
Evrimsel algoritmalar kullanılarak özgün 3D nesne tasarımı
YAVUZ SELİM DOĞAN
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldırım Beyazıt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FATİH VEHBİ ÇELEBİ
YRD. DOÇ. DR. HİLAL KAYA
- Çocukların matematik, dil ve görsel algı becerilerinin geliştirilmesinde oyunlaştırmanın etkisinin araştırılması
Exploring the impact of gamification on the development of children's mathematical, language, and visual perception skills
ÖZLEM CİVELEK BAYRAKTAR
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
PROF. DR. CEMİL ÖZ
- Makine ve imalat mühendisliğinde kullanılmak üzere sanal ve arttırılmış gerçeklik uygulamaları geliştirilmesi
Development of application of virtual & augmented reality to use mechanical and manufacturing engineering
MUHAMMED KOFOĞLU
Yüksek Lisans
Türkçe
2019
Makine MühendisliğiBursa Uludağ ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. ABDİL KUŞ