İnsansi robotlarda tutma eylemlerinin derin pekiştirmeli öğrenme algoritmalari ile geliştirilmesi
Improving grasping actions in humanoid robots with deep reinforcement learning algorithms
- Tez No: 926220
- Danışmanlar: PROF. DR. AYŞEGÜL UÇAR
- Tez Türü: Doktora
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 153
Özet
İnsansı robotların ev, hastane ve işyeri gibi ortamlarda insanlara yardım edebilmesi veya insanların yerine görev yapabilmesi için kazanması gereken en temel becerilerden biri, tutma eylemini gerçekleştirebilmesidir. Ayrıca, insanlarla etkileşim içinde çalıştığı için gerçekleştirdiği eylemleri açıklayabilme yeteneğine de sahip olmalıdır. Tezin amacı, insana ait özelliklerden biri olan tutma eyleminin insansı robotlar tarafından gerçekleştirilmesini sağlamaktır. Bu amaca uygun olarak Robotis-OP2 insansı robotunu eğitmek için Derin Pekiştirmeli Öğrenme (DPÖ) algoritmaları kullanılmıştır. Robotun tutma eylemi, eklemlerin konumu, eklemlerden alınan kuvvet bilgisi ve robotun kendi kamerasından alınan görüntülerin birlikte kullanılmasıyla gerçekleştirilmiştir. Bu sayede robotun otonom bir şekilde tutma eylemini gerçekleştirmesi sağlanmıştır. İlk olarak, robotun uygun bir tutma işlemi gerçekleştirdiğini doğrulamak amacıyla ileri kinematik hesaplamalar yapılmış ve tutma noktasının tespiti sağlanmıştır. Daha sonra, robotun tutma işlemini otonom bir şekilde gerçekleştirebilmesi için DPÖ yöntemleri kullanılmıştır. Bu süreçte, DPÖ algoritmalarından Derin Q Ağı (DQA) ve Düello DQA yöntemleri tercih edilmiştir. Bu algoritmalar, farklı ödül fonksiyonları ile test edilerek etkinlikleri değerlendirilmiştir. Robotun deneyimlerden öğrenmesi için kullanılan bütün yöntemler için taklit öğrenme yöntemlerinden Gösterimden Derin Q Öğrenmesi (GDQÖ) algoritması kullanılmıştır. Bunun yanı sıra, robotun gerçekleştirdiği eylemleri açıklayabilmesi için Açıklanabilir Yapay Zekâ (AYZ) yöntemlerinden Açıklama için Rastgele Giriş Örneklemesi (ARGÖ) algoritması kullanılmıştır. Bu sayede robotun hem öğrenme süreci hem de eylemlerinin anlaşılabilirliği geliştirilmiştir. Çalışma sonucunda, robotun istenen hedefleri başarıyla yerine getirdiği gözlemlenmiştir. Düello DQA algoritmasının, DQA algoritmasına kıyasla daha iyi sonuçlar verdiği belirlenmiştir. Ayrıca, taklit öğrenme (Imitation Learning) yöntemi kullanılarak eğitim süresinin önemli ölçüde azaldığı sonucuna ulaşılmıştır. AYZ yöntemleri sayesinde robotun eylemlerinin nedenleri açıklanmış ve daha güvenli bir tutma işleminin gerçekleştirilebileceği doğrulanmıştır.
Özet (Çeviri)
One of the most basic skills that humanoid robots need to acquire in order to help people or replace them in environments such as homes, hospitals, and workplaces is the ability to grasp objects. In addition, since they interact with people, they should be able to explain the actions they perform. The aim of this thesis is to ensure that grasping, one of the human characteristics, is performed by humanoid robots. In line with this purpose, Deep Reinforcement Learning (DRL) algorithms were used to train the Robotis-OP2 humanoid robot. The robot's grasping actions were performed using the location of the joints, the force information received from the joints, and the images captured by the robot's own camera. The robot was enabled to perform grasping autonomously. First, the detection of the grasping point was calculated using advanced kinematic computations to verify that the robot achieved an appropriate grip. Then, DRL methods were used to ensure that the robot performed grasping autonomously. Deep Q Network (DQN) and Duello DQN were used from the DRL algorithms, and these methods were tested with different reward functions. For all methods used to enable the robot to learn from experience, the Deep Q Learning from Demonstrations (DQfD) algorithm, one of the imitation learning methods, was utilized. To explain the robot's actions, the Randomized Input Sampling for Explanation (RISE) algorithm, one of the Explainable Artificial Intelligence (XAI) methods, was applied. At the end of the study, it was observed that the robot successfully achieved the desired goals. It was found that the Duello DQN algorithm provided better results than the DQN algorithm. Additionally, it was concluded that the training process duration was reduced by using the imitation learning method. Through the use of XAI, explanations for the reasons behind the robot's actions were obtained, and it was confirmed that a safer grasping process could be achieved.
Benzer Tezler
- Dual-arm safe robot manipulation with second arm assistance
Çift kollu robotlarda ikinci kol destekli güvenli robot etkileşimi
ASEL MENEKŞE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
- Robotların bilinmeyen cisimlerin tutulabilirliğini içsel motivasyon desteği ile öğrenmesi
Learning graspability of unknown objects via intrinsic motivation
ERÇİN TEMEL
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SANEM SARIEL
- Salience of haptic features for interactive behavior classification in physical human-human/robot collaboration
Fiziksel insan-insan/robot işbirliğinde etkileşimli davranış sınıflandırmasında dokunsal özelliklerin öne çıkması
ZAID RASIM MOHAMMED AL SAADI
Doktora
İngilizce
2023
Makine MühendisliğiKoç ÜniversitesiMakine Mühendisliği Teknolojileri Ana Bilim Dalı
PROF. DR. ÇAĞATAY BAŞDOĞAN
YRD. DOÇ. DR. AYŞE KÜÇÜKYILMAZ AKDOĞAN
- Robotic hand design using flexible and continuum structures
Esnek ve sürekli yapılarla robotik el tasarımı
HATİCE DİDEM ÜZGÜN
Yüksek Lisans
İngilizce
2015
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR BOYRAZ
- Antropomorfik robotların dinamiği ve adaptif kontrol uygulamaları: Matlab/Simulink modelleme
Anthropomorphic robot's dynamics and adaptive control applications: Matlab/Simulink modeling
MUHAMMET ÖZTÜRK
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. ELBRUS JAFAROV