Deep reinforcement learning to optimize task performance in human-robot co-manipulation
İnsan-robot birlikte manipülasyonunda, görev performansını optimize etmek için derin pekiştirmeli öğrenme
- Tez No: 821752
- Danışmanlar: PROF. DR. ÇAĞATAY BAŞDOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Makine Mühendisliği, Computer Engineering and Computer Science and Control, Mechanical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Makine Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 60
Özet
Ağır nesnelerin insan-robot birlikte manipülasyonu sırasında görev performansını optimize etmek için derin pekiştirmeli öğrenme (DPL) modelinin öncüsü olarak bir yapay sinir ağı (YSA) modeli kullanan iki aşamalı bir makine öğrenimi yaklaşımı öneriyoruz. İlk aşamada, YSA modeli, insanın nesneyi hızlandırma veya yavaşlatma niyetini tahmin eder (büyük eylemsizliği nedeniyle nesnenin gerçek hızlanmasından veya yavaşlamasından önce gelir). Bu olasılıksal tahmin daha sonra robotun göreve katkısını değiştiren uyarlanabilir bir giriş kontrolörünün kazancını hesaplamak için kullanılır. İkinci aşamada, DPL modeli bu kazanca ince ayar yapar ve hareketteki sarsıntıyı ve insan tarafından harcanan fiziksel çabayı en aza indirerek görev performansını optimize eder. Fiziksel insan-robot etkileşimi görevi için bir DPL modelinin çevrimiçi eğitimi oldukça zaman alıcı olduğundan ve kontrolör kazancındaki ani değişiklikler nedeniyle insan için potansiyel olarak tehlikeli olabileceğinden, DPL modelinin simülasyonlar yoluyla çevrimdışı eğitimi için koşullu varyasyonel otomatik kodlayıcı ile veriye dayalı bir insan kuvveti modeli geliştirilmiştir. Bu amaçla, DPL modelini eğitmek ve doğrulamak için admitans kontrolörünün 3 farklı sabit kazancı (minimum, nominal ve maksimum) altında altı denekten deneysel veriler toplanmıştır. Tek başına YSA modeli ve önerilen iki aşamalı yaklaşım (YSA + DPL) tarafından üretilen uyarlanabilir admitans kazanç profilleri, birlikte manipülasyon simülasyonları aracılığıyla karşılaştırılmıştır. Sonuçlar, iki aşamalı yaklaşımla elde edilen kazanç profilinin, YSA modeli tarafından sağlanan başlangıç profiline kıyasla insan çabasında ve sarsıntıda bir azalmaya yol açtığını göstermektedir.
Özet (Çeviri)
We propose a two-layer machine learning (ML) approach, which utilizes an artificial neural network (ANN) model as a precursor for a deep reinforcement learning (DRL) model, to optimize task performance during human-robot co-manipulation of heavy objects. In the first layer, the ANN model estimates the human intention to accelerate or decelerate the object (which precedes the actual acceleration or deceleration of the object due to its large inertia). This probabilistic estimation is then used to calculate the gain of an adaptive admittance controller, which alters the robot's contribution to the task. In the second layer, the DRL model fine-tunes this gain and optimizes the task performance by minimizing the jerk in movement and the physical effort made by human. Since online training of a DRL model for a physical human-robot interaction (pHRI) task is highly time-consuming and can potentially be dangerous for the human due to abrupt changes in controller gain, a data-driven human force model was developed by a conditional variational auto-encoder (C-VAE) for offline training of the DRL model via simulations. For this purpose, experimental data was collected from six subjects under 3 different fixed gains of the admittance controller (minimum, nominal, and maximum) to train and validate the DRL model. The adaptive admittance gain profiles generated by the ANN model alone and the proposed two-layer approach (ANN + DRL) were compared through co-manipulation simulations. The results show that the gain profile obtained by the two-layer approach leads to a decrease in human effort and jerk compared to the initial profile provided by the ANN model.
Benzer Tezler
- Applications of deep reinforcement learning for advanced driving assistance systems
İleri sürüş destek sistemleri için derin pekiştirmeli öğrenme uygulamaları
MUHARREM UĞUR YAVAŞ
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- A comparative study of nonlinear model predictive control and reinforcement learning for path tracking
Yol izleme için doğrusal olmayan model öngörülü kontrol ve pekiştirmeli öğrenmenin karşılaştırmalı çalışması
GAMZE TÜRKMEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. OVSANNA SETA ESTRADA
- Dual-arm safe robot manipulation with second arm assistance
Çift kollu robotlarda ikinci kol destekli güvenli robot etkileşimi
ASEL MENEKŞE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
- Resource allocation mechanisms for end-to-end delay optimization of 5G URLLC services
5G URLLC hizmetlerinin uçtan uca gecikme optimizasyonu için kaynak aktarım mekanizmaları
HASAN ANIL AKYILDIZ
Doktora
İngilizce
2024
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN
DR. İBRAHİM HÖKELEK
- Optimizing the output energy of a vertical axis wind turbineusing deep deterministic policy gradient and proximal policygradient
Dıkey eksenlı rüzgar türbinin çıkış enerjisini optimize etmek içinderin deterministik politika gradienti ve yakın politika optimizeetme kullanılarak bir denetleyici tasarlamak
BIRAM BAWO
Yüksek Lisans
İngilizce
2023
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. SERHAT YEŞİLYURT
DOÇ. DR. AHMET ONAT