Geri Dön

Dual-arm safe robot manipulation with second arm assistance

Çift kollu robotlarda ikinci kol destekli güvenli robot etkileşimi

PDF İndir

  1. Tez No: 886475
  2. Yazar: ASEL MENEKŞE
  3. Danışmanlar: PROF. DR. SANEM SARIEL UZER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 71

Özet

Günümüzde robotlar, sanayi ve hizmet sektörlerinden sağlık hizmetlerine kadar birçok alanda hızla yaygınlaşmaktadır. Robotların günlük yaşama daha fazla entegre edilmesi, insanların hayatını kolaylaştırarak daha kaliteli bir yaşam sürmelerine yardımcı olma potansiyeli taşımaktadır. Ancak robotların günlük hayatta daha fazla yer bulması, güvenlik konusunun da aynı oranda önem kazanmasına neden olmuştur. Özellikle dinamik ve karmaşık ortamlarda çalışan robotlar, insanlarla ve diğer makinelerle güvenli bir şekilde etkileşimde bulunmalıdır. Bu sebeple, güvenlik odaklı robot sistemlerinin geliştirilmesi, kazaların önlenmesi ve güvenli çalışma alanlarının oluşturulması açısından büyük bir gereklilik haline gelmiştir. Bu çalışmada, robotların nesnelerle güvenli ve etkili bir şekilde etkileşimde bulunabilmeleri için önerilen yöntemler ele alınmaktadır. Robot nesne etkileşim davranışlarının öğrenilmesindeki temel zorluklardan biri, hedefe güvenli bir şekilde ulaşmayı sağlayan optimal politikayı belirlemektir. Optimal politikaları belirlemede karşılaşılan zorlukların üstesinden gelmek için derin pekiştirmeli öğrenme (Deep Reinforcement Learning, DRL) tercih edilmektedir. Derin pekiştirmeli öğrenme, hem öğrenme sırasında keşif ve sömürü arasındaki dengeyi sağlaması hem de karmaşık ve dinamik ortamlarda yüksek boyutlu durum-eylem uzaylarında etkin performans göstermesi nedeniyle ideal bir yaklaşımdır. Bu yöntem, hem insan müdahalesine ihtiyaç duymadan sürekli öğrenen sistemler geliştirmek hem de değişen koşullara uyum sağlayabilen esnek politikalar elde etmek için tercih edilmektedir. Derin pekiştirmeli öğrenmede etmen bir ortamda keşif yaparken ödül fonksiyonuna göre geri bildirim alır ve bu geri bildirimler, gelecekteki eylemlerini optimize etmek için kullanılır. Etmen, keşfetme süreci boyunca birçok deneme-yanılma yöntemiyle en yüksek ödülü sağlayan aksiyon dizisini belirlemeye çalışır. Böylece, etkili nesne etkileşim politikaları oluşturularak, robotların görevlerini başarıyla tamamlaması sağlanır. Derin pekiştirmeli öğrenmede, hedefi ve güvenlik kısıtlarını tek bir ödül fonksiyonu ile temsil etmek genellikle güvenliği göz ardı eden veya aşırı temkinli bir politika ortaya çıkarabilir. Bu durum, yüksek ödüller sunan hedefe yakın durumların genellikle güvenli olmaması nedeniyle meydana gelir. Bu tez çalışmasında, bu sorunu çözmek için çift kollu bir robota verilen bir görevi her bir kola atanan iki alt göreve ayıran ve güvenlik kısıtlamalarını dikkate alarak olası tehlikeli durumları önleyen bir çift kollu işbirliği yöntemi önerilmektedir. Bu yöntem, bir kolun hedefi başarmasını öğrenirken, diğer kolun çevreyle etkileşime geçerek güvenlik kısıtlarına uyulmasını ve olası tehlikeli durumların önlenmesini sağlar. Önerilen yöntem, benzetim ortamında iki kollu insansı bir robotun bir kaseyi karıştırma görevini gerçekleştirmesi üzerine tasarlanan altı farklı senaryo üzerinde test edilmiştir ve ikinci kol destekli karıştırma senaryosunun en iyi performansı gösterdiği sonucuna ulaşılmıştır. Deney ortamı, CoppeliaSim benzetim ortamında, PyRep aracılığıyla kontrol edilen Baxter insansı robotunun karıştırma görevini güvenli bir şekilde gerçekleştirmesini içerir. Bu ortamda, çeşitli boyutlarda 180 top içeren bir kase ve karıştırma görevi için bir kaşık bulunmaktadır. Çift kollu insansı robot Baxter, bir kolu ile karıştırma görevini yerine getirirken, diğer kolun güvenlik kısıtlarını belirleyerek görevi güvenli şekilde yerine getirmeyi hedeflemektedir. Amaç, bir kol ile karıştırma işlemi yapılırken meydana gelebilecek kayma ve dökülme gibi güvenli olmayan durumların önlenmesi için, ikinci kolun belirlenen kaseyi tutma kısıtını öğrenmesi ile güvenliği sağlamasıdır. Böylelikle, iki kolun işbirliği içerisinde çalışarak güvenli ve verimli bir karıştırma işlemi gerçekleştirmesi sağlanmaktadır. Önerilen yöntemi değerlendirmek için altı deney senaryosu tasarlanmıştır: Tek Kol Karıştırma, Sağ Kol Destekli Karıştırma ve Çift Kol Karıştırma. Tek Kol Karıştırma senaryosu, Tek Kol Sabitleme ve Tek Kol Karıştırma alt senaryolarını içerir. Tek Kol Karıştırma senaryosunda robotun sağ kolu sadece karıştırma görevini gerçekleştirir, x, y, z eksenlerinde hareket eder ve diğer koldan herhangi bir destek almaz. Tek Kol Sabitleme senaryosunda ise, robotun sol kolu x, y, z eksenlerinde hareket ederek kasenin stabilitesini sağlar. Sağ Kol Destekli Karıştırma senaryosunda, sağ kol önceden eğitilmiş bir model kullanarak kaseyi sabitlerken sol kol karıştırma görevini gerçekleştirir. Çift Kol Karıştırma senaryosu ise Tek Etmenli Çift Kol ve Çok Etmenli Çift Kol alt senaryolarını içerir. Tek Etmenli Çift Kol senaryosunda, robot her iki kolu tek bir beden problemi olarak ele alır ve her iki kolu birlikte kontrol ederek 6 boyutlu vektör ile görevi yerine getirir. Çok Etmenli Çift Kol senaryosunda ise, robot iki ayrı 3 boyutlu vektör kullanarak her iki kolu bağımsız olarak kontrol eder ve koordineli bir şekilde çalışır. Durum uzayı, kasenin ve her iki kolun uç noktalarının konumlarını, bunların göreceli konumlarını ve kasenin istenen konumunu içerir. Eylem uzayı, kolların üç boyutlu hareketlerini gerçekleştirebilmeleri için 3 boyutlu konumlarını içerir. Politikaları öğrenmek için Derin Deterministik Politika Gradyanı (DDPG) yöntemi kullanılarak, Bellman denklemi temelinde eylem-değer fonksiyonu optimize edilmiştir. Sonuçlar, Sağ Kol Destekli Karıştırma senaryosunun en yüksek karıştırma ödülüne ve en düşük hata oranlarına ulaştığını göstermektedir. Bu senaryo, kayma ve dökülme miktarlarını etkili bir şekilde en aza indirerek ikinci bir sabitleyici mekanizmanın avantajını ortaya koymaktadır. Çift Kol Karıştırma senaryosu ise, Tek Kol Karıştırma'dan daha yüksek karıştırma ödülleri elde etmesine rağmen, aynı anda iki görevin öğrenilmesinin getirdiği ortam karmaşıklığının artması gibi zorluklar sebebiyle daha yüksek dökülme oranlarına sahiptir. Çift kollu senaryolarda karşılaşılan karmaşıklıkları ele almak için rafine bir yaklaşım benimsenmiştir. Başlangıçta, her iki kolu 6 boyutlu bir vektör ile kontrol eden tek bir model eğitilmiş, ancak sonuçlar, ortamın ve durum-eylem uzayının karmaşıklığının robotun görevi verimli bir şekilde öğrenmesini zorlaştırdığını göstermiştir. Bu nedenle, her bir kolun kendi görevini (tutma ve karıştırma) ayrı ortamlarda öğrenmesini sağlayan iki model sistemi uygulanmıştır. Bu ayrı öğrenme aşamalarından elde edilen önceden eğitilmiş modeller, Sağ Kol Destekli Karıştırma senaryosunda kullanılmıştır. Bu durumda, tutma modeli, önceden eğitilmiş bir model olarak sağ kol tarafından kullanılırken, sol kol karıştırma görevini öğrenmeye devam etmiştir. Bu yaklaşımda, sağ kolun tutma işlevini yerine getirmek için öğrendiği aksiyon uzayı, karıştırma görevini öğrenen sol kola destek sağlayarak, kasenin stabilitesini korumuştur. Bu sayede sol kol, karıştırma görevine daha etkili bir şekilde odaklanabilmiş ve genel performans artmıştır. Sağ kolun sabitleme işlevi, karıştırma sırasında kasenin kaymasını ve dökülmesini önleyerek güvenliği sağlamıştır. Sonuç olarak, çift kollu robotlar için karmaşık görevlerde en iyi performansın elde edilmesi, her kolun politikalarının ayrı ayrı öğrenilmesi ve ardından bu politikaların entegre edilmesiyle mümkün olmuştur. Bu rafine yaklaşım, her bir kolun belirli bir hedefe odaklanmasını sağlayarak, genel görev başarısını ve güvenliğini artırmaktadır. Önerilen çift kol işbirliği yöntemi, sadece görev performansını iyileştirmekle kalmamakta, aynı zamanda kazaları önleyerek üretim, sağlık ve hizmet robotlarının kullanıldığı çeşitli alanlarda uygulanabilirliğini arttırmaktadır. Gelecekteki çalışmalarda, bu yöntemlerin gerçek dünyada doğrulanmasını sağlamak için benzetim ortamından gerçek dünyaya aktarımına odaklanılacaktır. Bu sayede, benzetim ortamında elde edilen başarıların gerçek dünya uygulamalarına aktarılması hedeflenmektedir.

Özet (Çeviri)

In this thesis, the challenge of achieving optimal and safe manipulation policies is addressed for dual-arm robots in complex environments using deep reinforcement learning. Representing both the goal and safety constraints in a single reward function often leads to policies that are either unsafe or overly conservative. To address this issue, a dual-arm cooperation method is proposed, which involves decomposing the overall task into subtasks assigned to each robot arm. This approach ensures that the goal is achieved while adhering to safety constraints, thereby preventing potential unsafe situations. The experimental setup involves the Baxter humanoid robot performing a stir task in the CoppeliaSim simulation environment, controlled via PyRep. The environment includes a bowl containing balls of various sizes, and the robot must use a spoon to stir the bowl. The objective of this thesis is to prevent unsafe situations such as sliding, spilling and hence overturn failures during the stir task. There are six experimental scenarios to evaluate the proposed approach: Single-Arm Stir, Single-Arm Hold, Right-Hand Assisted Stir, Single-Agent Dual-Arm, and Multi-Agent Dual-Arm. In the Single-Arm Stir scenario, the robot uses one arm to stir the bowl without any assistance, focusing solely on the stirring task which may result in safety issues such as slide or spill. The Single-Arm Hold scenario involves the robot using one arm to hold the bowl in place without performing the stirring task. In the Right-Hand Assisted Stir scenario, the robot's right arm stabilizes the bowl using a pre-trained model while the left arm performs the stirring action. The Single-Agent Dual-Arm scenario treats both arms as part of a single-body problem with a 6-dimensional array, controlling both arms together to perform the task. The Multi-Agent Dual-Arm scenario employs a multi-body approach with two separate 3-dimensional arrays, where each arm is controlled independently but works towards a coordinated task. These scenarios provide a comprehensive evaluation of the dual-arm cooperation method, demonstrating its effectiveness in achieving the task goal while adhering to safety constraints. The state space includes the positions of the bowl and the end effectors of both arms, as well as their relative positions and the desired position of the bowl. The action space involves the movements of the arms in three dimensions. The Deep Deterministic Policy Gradient (DDPG) method is used to learn the policies, optimizing the action-value function based on the Bellman equation. The results show that the Right-Arm Assisted Stir scenario achieves the highest stir reward and the lowest error rates. This scenario effectively minimizes slide and spill, demonstrating the advantage of using a secondary stabilizing mechanism. The Dual-Arm Stir scenario, while achieving higher stir rewards than Single-Arm Stir, still faces challenges due to the complexity of simultaneous learning, resulting in higher spilling rates. To address the complexities observed in the bimanual scenarios, a refined approach was adopted. Initially, a single model was trained to handle both arms with a 6-dimensional array, but the results indicate that the complexity of the environment and the state-action space made it difficult for the robot to learn the task efficiently. Consequently, a dual-model system was implemented where each arm learned its respective task (holding and stirring) separately in distinct environments. Pre-trained models from these separate learning phases were then combined in the Right-Hand Assisted Stir case, leading to optimal performance as this setup allowed each arm to focus on its specific goal without interference. In conclusion, our dual-arm cooperation method significantly enhances the safety and effectiveness of dual-arm robots performing intricate tasks. This approach not only improves task performance but also reduces the risk of accidents, making it applicable in various fields such as manufacturing, healthcare, and service robotics. Future work will focus on sim-to-real transfer to validate these methods in real-world applications.

Benzer Tezler

  1. Tez No

    392230

    Design, control and implementation of CoCoA: A human-friendly autonomous service robot

    Güvenli servis robotu CoCoA'nın insan uyumlu tasarımı, kontrolü ve hayata geçirilmesi

    GÖKAY ÇORUHLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Makine MühendisliğiSabancı Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. VOLKAN PATOĞLU

  2. Tez No

    438794

    Design and control of a dual arm robot manipulator

    Çift kollu bir robot manipülatörünün tasarımı ve kontrolü

    MUSTAFA MELİH DOĞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Mekatronik MühendisliğiDokuz Eylül Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ZEKİ KIRAL

  3. Tez No

    674808

    İki robot kolu yardımıyla sıvı transferinin kontrolü

    Control of liquid transfer by dual-arm robot

    BABAK NASERI SOUFIANI

    Doktora

    Türkçe

    Türkçe

    2021

    Makine MühendisliğiGazi Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET ARİF ADLI

  4. Tez No

    539059

    Design and manufacture of an omni-wheel robot with a dual arm manipulator

    Çift Kollu Manipülatöre Sahip Omni Tekerlekli Bir Robotun Tasarımı ve İmalatı

    HEMIN JAMAL MUSTAFA MUSTAFA

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Mekatronik MühendisliğiFırat Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUSTAFA AY

  5. Tez No

    527933

    Determination of the heart beats on single arm ECG signals by using computational methods

    Hesaplamalı yöntemler kullanılarak tek kol EKG işaretleri üzerinde kalp ritminin belirlenmesi

    EHSAN MOHAMMED IBRAHIM YASHAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇukurova Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. UMUT ORHAN

Geri Dön