Implementation of continuous POMDP algorithms on autonomous robots
Otonom robotlar üzerinde sürekli KGMKS algoritmalarının uygulanması
- Tez No: 179077
- Danışmanlar: PROF. DR. H. LEVENT AKIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2008
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Bölümü
- Bilim Dalı: Sistem ve Kontrol Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Belirsizlik, otonom robotlar için, duyargaların gerçek dünya gibi tüm ortam durumunu tam olarak yansıtamadığı hallerde başedilmesi gereken temel problemlerden biridir. Gerçekleştirilen eylemlerin sonuçlarının ne olacağı önceden bilinmese dahi etmenlerin mantıklı davranışlar içinde bulunmaları beklenmektedir. Bunun yanında ortamın aralıksız dağılımlı zaman yapısı problemi daha da zor hale getirmektedir.Markov Karar Yöntemleri bu tip ortamların modellenmesi için uygundur. Kısmen Gözlemlenebilir Markov Karar Süreçleri ise bütünüyle gözlemlenmesi mümkün olmayan ortamlar için tercih edilmektedir. Bu yöntemlerle ortamın modellenebilmesi için, gerçek dünyanın aralıksız dağılımlı yapısının aralıklı hale getirilmesi gerekmektedir.Bu çalışmanın amacı gerçek dünyayı modelleyerek, Kısmen Gözlemlenebilir Markov Karar Süreçlerine uygun öğrenme algoritmalarının gerçek robotlar üzerinde uygulanmasıdır.Deneyler Sony'nin dört bacaklı AIBO köpek robotları üzerinde, Webots simulasyon ortamı kullanılarak gerçekleştirilmiştir. İki farklı problem üzerinde algoritmalar uygulanmıştır: ``Topa Yaklaşma'' ve ``Gol Atma''. Robotların önceden verilen hedeflere ulaşmayı başardıkları ve gol skorlarında rastgele verilen kararlara nazaran daha başarılı oldukları gözlemlenmiştir. Sonuca ulaşırken gerçekleştirilen eylemlerin optimum olup olmadığı tartışılmış ve bunu etkileyen parametreler açıklanmıştır.
Özet (Çeviri)
Uncertainty is a fundamental problem for autonomous agents in a partially observable real world, where the sensors are not able to give the complete state of the environment. Although the outcomes of actions are not predictable, the agents must behave rationally. Furthermore, continuous nature of the environment makes the problem more difficult to model.Markov Decision Process (MDP) is a way to model this kind of problems. Partially observable Markov decision process (POMDP) is an extension of MDP which can be used in environments which are not fully observable. In order to model the real world, the continuous states must be converted to discrete states.The aim of this work is to model the real world environment and implement ARKAQ learning algorithm which is suitable for Partially observable Markov decision problems (POMDPs).The experiments are realized with Sony AIBO four-legged robotic pets under Webots simulation environment. Two problems are studied: ``Ball Approaching'' and ``Scoring Goal''. The predefined targets are achieved by the robots and the results in goal scoring show that ARKAQ is clearly much more successful compared to random actions. The optimality of the results are discussed and the parameters that affect the optimality are explained.
Benzer Tezler
- Balancing mixed adversarial perturbations: Towards robust reinforcement learning
Karma çekişmeli bozulmaları dengeleme: Gürbüz pekiştirmeli öğrenmeye doğru
MUSTAFA ERDEM
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- New algorithms and techniques for microprocessor-controlled PWM induction drives
Başlık çevirisi yok
OSMAN KÜKRER
Doktora
İngilizce
1987
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. H. BÜLENT ERTAN
- A Decision support system for planning standby garbage collection trucks
Yedek çöp toplama kamyonlarının planlanması için bir karar destek sistemi
GÜLSER HACISALİHOĞLU
Yüksek Lisans
İngilizce
1987
Endüstri ve Endüstri MühendisliğiOrta Doğu Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. HALİM DOĞRUSÖZ
- Stuctured development of a departmental information system
Başlık çevirisi yok
EKREM AZİMLİ
Yüksek Lisans
İngilizce
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiPROF. DR. ZİYA AKTAŞ
- Design and implementation of concurrency on IBM PC XT
Başlık çevirisi yok
AHMET ALİ COKER
Yüksek Lisans
İngilizce
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiPROF. DR. ZİYA AKTAŞ