A reinforcement learning based controller to minimize forces on the crutches of a lower-limb exoskeleton
Alt ekstremite dış iskeletlerinin bastonlarındaki kuvvetleri minimize eden pekiştirmeli öğrenme tabanlı bir kontrolcü
- Tez No: 812429
- Danışmanlar: DOÇ. DR. EVREN SAMUR, DR. ÖĞR. ÜYESİ SİNAN ÖNCÜ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Makine Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering, Mechanical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Sistem ve Kontrol Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 85
Özet
Bir alt ekstremite dış iskelet kullanıcısının metabolik enerji tüketiminin çoğu, alt vücut pasif olarak kabul edilebileceğinden, üst vücudun harcadığı efordan gelir. Ancak literatürde alt uzuv dış iskelet kullanıcılarının üst vücut eforu hesaba katılmamaktadır. Bu tez çalışmasında, bastonların yer tepki kuvvetlerini (YTK) optimize eden bir hareket kontrolcüsü geliştirmek için derin pekiştirmeli öğrenme kullanılmıştır. Yer reaksiyon kuvvetlerini minimize etmenin amacı kullanıcının üst vücut eforunu en aza indirmektir. Bastonlar ve insan-dış iskelet sisteminin modeli URDF ve XML formatlarında oluşturulmuştur. Düşmeden ve aşırı eklem torkları olmadan kütle merkezinin ileriye doğru yer değiştirmesini teşvik eden ödül fonksiyonları şekillendirilmiştir. Son teknoloji yöntemler olan Twin Delayed Deep Deterministic Policy Gradient (TD3) ve Proximal Policy Optimization (PPO), RaiSim ve MuJoCo simülatörleri ve çeşitli parametre setleriyle uygulanmıştır. Kullanılan sinir ağları, eklem açısı ve hızları ile ayaklar ve baston uçlarındaki zemin reaksiyon kuvvetlerine dayalı olarak eklem torklarını üretir. Oluşturulan bu eklem torkları doğrudan dış iskelet modeline gönderilir ve derin PÖ çerçevesinin sağladığı aksiyon uygulandıktan sonra yeni bir durum gözlemlenir. TD3 ve PPO yöntemleriyle RaiSim'de eğitilen politikaların, dengeli ve doğal görünümlü bir yürüyüş için uygun kontrol komutları üretemediği gözlemlenmiştir. Genel olarak RaiSim'de PPO yönteminin TD3 yöntemine göre daha yüksek ödül değerlerine ulaştığı görülmektedir. RaiSim ile istenen tarzda bir robot politikası elde edemedikten sonra MuJoCo simülatör olarak kullanılmıştır. Sonuç olarak, uygun baston hareketlerini de içeren ve istenen tarzda lokomosyonu yer tepki kuvvetlerini %35 oranında azaltarak sağlayan bir robot politikası geliştirilmiştir.
Özet (Çeviri)
The majority of the metabolic energy consumption of a lower-limb exoskeleton user comes from the upper body effort, since the lower body can be considered to be passive. However, the upper body effort of lower limb exoskeleton users is ignored during motion controller development process in the literature. In this thesis study, deep reinforcement learning is used to develop a locomotion controller that minimizes the ground reaction forces (GRF) on crutches. The rationale for minimizing the ground reaction forces is to minimize the upper body effort of the user. A model of the human-exoskeleton system with crutches is created in URDF and XML formats. Reward functions that encourage the forward displacement of the center of mass of the exoskeleton-human system without falling and extreme joint torques are shaped. The state-of-the-art methods, Twin Delayed Deep Deterministic Policy Gradient (TD3) and Proximal Policy Optimization (PPO), are employed with the RaiSim and MuJoCo physics simulators and with different algorithm specific parameters in multiple training trials. The employed networks generate the joint torques based on the joint angle and velocities along with the ground reaction forces on feet and crutch tips. These generated joint torques are directly sent to the exoskeleton model and a new state is observed after implementing the action that the deep RL framework provides. Policies trained by the TD3 and PPO methods on RaiSim are observed to fail to generate proper control commands for a stable and natural looking gait. In general, it is observed that the PPO method generated higher rewards than the TD3 method on RaiSim. After failing to develop a desired policy with RaiSim, MuJoCo is employed as the simulator. Eventually, a policy that can generate a reasonable gait with a desired crutch usage and with 35% minimization in GRFs with respect to the baseline policy is developed.
Benzer Tezler
- Tracking control methodologies for a quadrotor UAV
Dört rotorlu bir İHA için yol takibi kontrol yöntemleri
BORA BAYRAKTAROĞLU
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MÜJDE GÜZELKAYA
- Reinforcement learning based battery thermal management controller for electric vehicle charge time optimization using horizon data
Ufuk verileri kullanılarak takviyeli öğrenme tabanlı batarya termal yönetim kontrolü ile elektrikli araçlarda şarj süresinin iyileştirilmesi
YUNUS TURHAN
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT YILMAZ
- High-speed trajectory tracking controller design
Yüksek hızlı iz takip kontrolörü tasarımı
OMAR SHADEED
Yüksek Lisans
İngilizce
2024
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. EMRE KOYUNCU
- High-speed trajectory replanning and trajectory tracking for collision avoidance
Çarpışma önlemek için yüksek hızlı rota planlama ve rota takibi
MEHMET HASANZADE
Doktora
İngilizce
2021
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE KOYUNCU
- Resilient ultra dense networks under UAV coverage for disaster management
Afet yönetiminde İHA'lar ile dayanıklı ultra yoğun ağlar
ELİF BOZKAYA
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BERK CANBERK