İnsansi robotlarda tutma eylemlerinin derin pekiştirmeli öğrenme algoritmalari ile geliştirilmesi
Improving grasping actions in humanoid robots with deep reinforcement learning algorithms
- Tez No: 926220
- Danışmanlar: PROF. DR. AYŞEGÜL UÇAR
- Tez Türü: Doktora
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnsansı robotların ev, hastane ve işyeri gibi ortamlarda insanlara yardım edebilmesi veya insanların yerine görev yapabilmesi için kazanması gereken en temel becerilerden biri, tutma eylemini gerçekleştirebilmesidir. Ayrıca, insanlarla etkileşim içinde çalıştığı için gerçekleştirdiği eylemleri açıklayabilme yeteneğine de sahip olmalıdır. Tezin amacı, insana ait özelliklerden biri olan tutma eyleminin insansı robotlar tarafından gerçekleştirilmesini sağlamaktır. Bu amaca uygun olarak Robotis-OP2 insansı robotunu eğitmek için Derin Pekiştirmeli Öğrenme (DPÖ) algoritmaları kullanılmıştır. Robotun tutma eylemi, eklemlerin konumu, eklemlerden alınan kuvvet bilgisi ve robotun kendi kamerasından alınan görüntülerin birlikte kullanılmasıyla gerçekleştirilmiştir. Bu sayede robotun otonom bir şekilde tutma eylemini gerçekleştirmesi sağlanmıştır. İlk olarak, robotun uygun bir tutma işlemi gerçekleştirdiğini doğrulamak amacıyla ileri kinematik hesaplamalar yapılmış ve tutma noktasının tespiti sağlanmıştır. Daha sonra, robotun tutma işlemini otonom bir şekilde gerçekleştirebilmesi için DPÖ yöntemleri kullanılmıştır. Bu süreçte, DPÖ algoritmalarından Derin Q Ağı (DQA) ve Düello DQA yöntemleri tercih edilmiştir. Bu algoritmalar, farklı ödül fonksiyonları ile test edilerek etkinlikleri değerlendirilmiştir. Robotun deneyimlerden öğrenmesi için kullanılan bütün yöntemler için taklit öğrenme yöntemlerinden Gösterimden Derin Q Öğrenmesi (GDQÖ) algoritması kullanılmıştır. Bunun yanı sıra, robotun gerçekleştirdiği eylemleri açıklayabilmesi için Açıklanabilir Yapay Zekâ (AYZ) yöntemlerinden Açıklama için Rastgele Giriş Örneklemesi (ARGÖ) algoritması kullanılmıştır. Bu sayede robotun hem öğrenme süreci hem de eylemlerinin anlaşılabilirliği geliştirilmiştir. Çalışma sonucunda, robotun istenen hedefleri başarıyla yerine getirdiği gözlemlenmiştir. Düello DQA algoritmasının, DQA algoritmasına kıyasla daha iyi sonuçlar verdiği belirlenmiştir. Ayrıca, taklit öğrenme (Imitation Learning) yöntemi kullanılarak eğitim süresinin önemli ölçüde azaldığı sonucuna ulaşılmıştır. AYZ yöntemleri sayesinde robotun eylemlerinin nedenleri açıklanmış ve daha güvenli bir tutma işleminin gerçekleştirilebileceği doğrulanmıştır.
Özet (Çeviri)
One of the most basic skills that humanoid robots need to acquire in order to help people or replace them in environments such as homes, hospitals, and workplaces is the ability to grasp objects. In addition, since they interact with people, they should be able to explain the actions they perform. The aim of this thesis is to ensure that grasping, one of the human characteristics, is performed by humanoid robots. In line with this purpose, Deep Reinforcement Learning (DRL) algorithms were used to train the Robotis-OP2 humanoid robot. The robot's grasping actions were performed using the location of the joints, the force information received from the joints, and the images captured by the robot's own camera. The robot was enabled to perform grasping autonomously. First, the detection of the grasping point was calculated using advanced kinematic computations to verify that the robot achieved an appropriate grip. Then, DRL methods were used to ensure that the robot performed grasping autonomously. Deep Q Network (DQN) and Duello DQN were used from the DRL algorithms, and these methods were tested with different reward functions. For all methods used to enable the robot to learn from experience, the Deep Q Learning from Demonstrations (DQfD) algorithm, one of the imitation learning methods, was utilized. To explain the robot's actions, the Randomized Input Sampling for Explanation (RISE) algorithm, one of the Explainable Artificial Intelligence (XAI) methods, was applied. At the end of the study, it was observed that the robot successfully achieved the desired goals. It was found that the Duello DQN algorithm provided better results than the DQN algorithm. Additionally, it was concluded that the training process duration was reduced by using the imitation learning method. Through the use of XAI, explanations for the reasons behind the robot's actions were obtained, and it was confirmed that a safer grasping process could be achieved.
Benzer Tezler
- Çukurova bölgesinde biyoklimatik veriler kullanılarak açık ve yeşil alan sistemlerinin belirlenmesi ilkeleri üzerinde bir araştırma
A research on the determination of the principles in open and green spaces systems by using the bioclimatic data in Çukurova region
MEHMET FARUK ALTUNKASA
Doktora
Türkçe
1987
Çevre MühendisliğiÇukurova ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
DOÇ. DR. ERDOĞAN GÜLTEKİN
- Türkiye'de trafik kazalarının epidemiyolojisi
Başlık çevirisi yok
HARUN KARACA
Yüksek Lisans
Türkçe
1985
UlaşımGazi ÜniversitesiKazalarda Acil Yardım ve Rehabilitasyon Ana Bilim Dalı
DOÇ. DR. HİKMET PEKCAN
- İş kazaları: Genel değini ve üç örnek iş kolu incelemesi
Başlık çevirisi yok
SERPİL ERÖZ
Yüksek Lisans
Türkçe
1985
Çalışma Ekonomisi ve Endüstri İlişkileriGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
- Avrupa Topluluğu'nun bürokratik yapısı
Başlık çevirisi yok
GÜNİZ ODYAKMAZ
Yüksek Lisans
Türkçe
1989
Uluslararası İlişkilerİstanbul ÜniversitesiUluslararası İlişkiler Ana Bilim Dalı
PROF. DR. BENER KARAKARTAL
- Temel boyutlarıyla müziksel işitmenin incelenmesi
Research in musical audibility with it's basic dimensions
MEHLİKA DÜNDAR