Development of an autonomous sailor: An application of hierarchical reinforcement learning to sailing
Yelken yapmayı öğrenen sanal etmenlerin pekiştirmeli öğrenme yöntemleri kullanılarak benzetim ortamındaki eğitimi
- Tez No: 238790
- Danışmanlar: DOÇ. DR. BORAHAN TÜMER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2009
- Dil: İngilizce
- Üniversite: Marmara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 69
Özet
Yelkencilik dünya üzerinde yüzbinlerce insanın ilgisini çeken popüler bir spor ve eğlence dalıdır. Bir yelkenli ile ortamda yeterli rüzgar olduğu sürece istenilen herhangi bir noktadan başka bir noktaya seyir yapmak mümkündür. Yelkenli tekneler, yelkenleri yardımıyla topladığı rüzgar enerjisini hareket enerjisine herhangi başka bir dış etmene ihtiyaç duymadan dönüştürerek uzun mesafeler katadebilirler. Yelkenlilerin kendilerine has fiziksel özellikleri, farklı disiplinlerden araştırmacıları yelkenli tekne hareket temellerini keşfetmeleri için bu alana yöneltmiştir. Son on yılda yelkenli tekne seyirleri bir bilgisayar mühendisliği alanı olan makine öğrenmesi ve yapay zeka altında incelenmeye ve özerk olarak hareket eden yelkenli dizayn etme çalışmaları başlanmıştır. Bizde bu çalışmamız ile öncelikle yelkenli tekne üzerine etki eden kuvvetleri ve teknenin bu kuvvetlere verdiği tepkileri modelleyerek bir benzetim ortamı gerçekleştirdik. Daha sonra modellenen benzetim ortamında tekne üzerindeki etmenlerin (dümenci ve yelken tirimcisi) makine öğrenmesi prensiplerini kullanarak, belirlenen bir rota üzerindeki en uygun seyir ve yelken ayarlarını yapmayı öğrenip öğrenemediklerini test ettik.Yaptığımız deneyler sonucunda doğru ve kesin sensör bilgileri ışığında yeterli bir öğrenme süresi tanındığında, yelken ve dümen kontrollerinin sanal etmenler tarafından pekiştirmeli öğrenme algoritmaları kullanılarak doğru bir biçimde öğrenilebildiğini gördük. Teoride, ulaşılmak istenen değerlere temel pekiştirmeli öğrenme algoritmaları ile erişmek mümkün gibi görünsede, büyük durum uzayı problem, kabul edilebilir öğrenme zamanları içerisinde çözüme ulaşmayı mümkün kılmamaktadır.Bu çalışmada büyük durum uzayı problemine çözüm olarak hiyerarşik öğrenme modelleri ve yarı Markov karar süreçleri yardımıyla ulaşılan geçici soyutlama metodları sunulmuştur. Gözlemlenen sonuçlarda hedeflenen stratejilere kabul edilebilir öğrenme süreleri zarfında ulaşılabilmiştir.
Özet (Çeviri)
Sailing is a very popular transportation, sports and entertainment branch that has attracted millions of people for many years from all around the world. Sailing boats move by transforming energy of wind accumulated on the sail surfaces to a driving force for themselves. The unique nature of sailing that a sailboat does not need any external force to move on its course other than wind force, has diverted people who have different scientific background to investigate the underlying physical rules governing the motion of sailboats. In the last ten years sailing is studied as a control problem under the machine learning domain. In this thesis we present the general principles for a particular type of simulated sailboat that we created to use as a test bed for machine learning applications, and further, we share the results of our learning attempts to find optimum sail controls at different wind situations and to find an optimum path to travel in a triangular racing course using reinforcement learning. The experiments we did with our simulator showed that with accurate sensor information and after a certain amount of training period, effective sail and rudder controls can be taught to virtual agents using reinforcement learning. In theory, the optimum or near-optimum solutions can be reached using conventional reinforcement algorithms; while, in practice, because of the large state space problem alternative approaches are required to find an optimum or near-optimum solution in finite training episodes. In this study in order to overcome large state space problem a temporal abstraction method (Semi-Markov Decision Processes) that facilitates hierarchical learning methods is applied and near-optimum solutions are found in feasible training episodes.
Benzer Tezler
- A statistical analysis to control pH level of main engine cooling system onboard unmanned surface vessel
İnsansız deniz aracındaki ana makine soğutma suyu sisteminin pH seviyesinin kontrolü için istatistiksel bir analiz
HAKAN SEL
Yüksek Lisans
İngilizce
2023
Deniz Bilimleriİstanbul Teknik ÜniversitesiDeniz Ulaştırma Mühendisliği Ana Bilim Dalı
PROF. DR. METİN ÇELİK
- Hemşirelerin mesleki rollerine ilişkin özerk davranış ölçeğinin geliştirilmesi: Nitel bir çalışma
Development of an autonomous behavior scale regarding the professional roles of nurses: A qualitative study
GİZEM AÇIKGÖZ
Doktora
Türkçe
2023
Hemşirelikİstanbul Üniversitesi-CerrahpaşaHemşirelikte Yönetim Ana Bilim Dalı
PROF. DR. ÜLKÜ BAYKAL
- Bitki yapraklarındaki hastalıkları yapay zeka ile tespit edebilen ve noktasal ilaçlama yapabilen otonom mobil manipülatör sisteminin geliştirilmesi
Development of an autonomous mobile manipulator system that detects diseases in plant leaves using artificial intelligence and can apply spot spraying
BURHAN ÖK
Yüksek Lisans
Türkçe
2022
Mekatronik MühendisliğiKarabük ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ KENAN IŞIK
- Sensör birleştirme teknikleri kullanılarak otonom robotik bir sistemin geliştirilmesi
Development of an autonomous robotic systems using sensor fusion techniques
BERAT YILDIZ
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik MühendisliğiKonya Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AKİF DURDU
- Development of an autonomous lawn mower with minimalist hardware approach
Minimalist donanım yaklaşımı ile otonom çim biçme robotu geliştirilmesi
SERKAN ÇİÇEK
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERHAN İLHAN KONUKSEVEN
YRD. DOÇ. DR. AHMET BUĞRA KOKU