Bipedal robot walking by reinforcement learning inpartially observed environment
Pekiştiırmeli öğrenme yöntemleriyle kısmi gözlenebilirortamda çift bacaklı robotun yürütülmesi
- Tez No: 688562
- Danışmanlar: PROF. DR. ÖMÜR UĞUR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Matematik, Computer Engineering and Computer Science and Control, Mathematics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Uygulamalı Matematik Enstitüsü
- Ana Bilim Dalı: Bilimsel Hesaplama Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 78
Özet
Mekanik kontrol üzerine Derin Pekiştirmeli Öğrenme yöntemleri birçok ortamda başarıyla uygulanmış ve bazı karmaşık problemler için geleneksel optimal ve uyarlanabilir kontrol yöntemleri yerine kullanılmıştır. Bununla birlikte, Derin Pekiştirmeli Öğrenme algoritmalarının hala bazı zorlukları vardır. Bunlardan bir tanesi, kısmen gözlemlenebilir ortamlarda özneyi kontrol etmektir. Bir özne ortam hakkında yeterince bilgilendirilmediğinde, geçmiş gözlemleri anlık gözlemlere ek olarak kullanmalıdır. Bu tezde kısmen gözlemlenebilir olan Bipedal Walker Hardcore (OpenAI GYM) ortamında yürüme kontrolü, iki sürekli aktör-eleştirmen pekiştirmeli öğrenme algoritması tarafından incelenmiştir; İkiz Gecikmeli Derin Belirleyici Poliçe Gradyanı (Twin Delayed Deep Determinstic Policy Gradient) ve Hafif Aktör Eleştirmen (Soft Actor-Critic). Birkaç sinir mimarisi uygulanmıştır. Birincisi, gözlemlenebilir ortam varsayımına göre Artık Bağlantılı İleri Beslemeli Sinir Ağı iken ikincisi ve üçüncüsü, ortamın kısmen gözlemlenebilir olduğu varsayıldığından, gizli durumu kurtarmak için girdi olarak gözlem geçmişini kullanan Uzun Kısa Süreli Bellek (LSTM) ve Transformatördür (Transformer).
Özet (Çeviri)
Deep Reinforcement Learning methods on mechanical control have been successfully applied in many environments and used instead of traditional optimal and adaptive control methods for some complex problems. However, Deep Reinforcement Learning algorithms do still have some challenges. One is to control on partially observable environments. When an agent is not informed well of the environment, it must recover information from the past observations. In this thesis, walking of Bipedal Walker Hardcore (OpenAI GYM) environment, which is partially observable, is studied by two continuous actor-critic reinforcement learning algorithms; Twin Delayed Deep Determinstic Policy Gradient and Soft Actor-Critic. Several neural architectures are implemented. The first one is Residual Feed Forward Neural Network under the observable environment assumption, while the second and the third ones are Long Short Term Memory and Transformer using observation history as input to recover the hidden information due to the partially observable environment.
Benzer Tezler
- Derin pekiştirmeli öğrenme kullanarak insansı robotlar için itme kurtarma kontrolsisteminin geliştirilmesi
Development of push-recovery control system for humanoid robots using deep reinforcement learning
EMRAH ASLAN
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiDicle ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMET ALİ ARSERİM
PROF. DR. AYŞEGÜL UÇAR
- İki ayaklı yürüyen robot için kontrol sistemi geliştirilmesi
Control system development for bipedal walking robot
NUMAN MERT TAN
Yüksek Lisans
Türkçe
2012
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ZEKİ YAĞIZ BAYRAKTAROĞLU
- Bipedal humanoid robot walking reference tuning by the use of evolutionary algorithms
İki bacakli insansi robotlar için evrimsel algoritmalar kullanilarak yürüme referansi ayarlanmasi
TUNC AKBAS
Yüksek Lisans
İngilizce
2012
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. KEMALETTİN ERBATUR
- İki ayaklı yürüyen robot dinamiğinin deneysel ve teorik araştırılması
Experimental and theoretical research of biped walking robot dynamics
TAŞKIN TEZ
Doktora
Türkçe
2017
Makine MühendisliğiTrakya ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. HİLMİ KUŞÇU
- İki ayaklı yürüyen robot tasarımı ve prototip imalatı
Design and contruction of 12 dof biped robot
ALPER GERÇEK
Yüksek Lisans
Türkçe
2012
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Ana Bilim Dalı
PROF. DR. HİKMET KOCABAŞ
YRD. DOÇ. DR. ZEKİ YAĞIZ BAYRAKTAROĞLU