Geri Dön

Robotic force control via A reinforcement learning approach

Pekiştirmeli öğrenme yaklaşımıyla robotik kuvvetkontrolü

PDF İndir

  1. Tez No: 967855
  2. Yazar: DOĞANAY KARAKIŞ
  3. Danışmanlar: DOÇ. DR. KEMALETTİN ERBATUR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 50

Özet

Bu tez, sert bir yüzeye kuvvet uygulamakla görevli düzlemsel bir dirsek manipülatörü kullanarak robotik kuvvet kontrolü için pekiştirmeli öğrenmenin (RL) kullanımını araştırmaktadır. GridWorld gibi basitleştirilmiş fakat etkili simülasyon ortamlarından ilham alan yaklaşımımız, manipülatörü ayrık eylem – sürekli durum ortamında eğitmek için Q-öğrenmeyi kullanmaktadır. Robot ajan, sistemin dinamiklerine dair önceden bilgi sahibi olmadan etkileşim yoluyla uç efektör temasını sağlamayı öğrenir. Önerilen kontrol stratejisi, manipülatörün kinematiğini ve iki katmanlı bir duvar ile etkileşim kuvvetlerini yakalayan simüle edilmiş bir ortamda uygulanmıştır. Doğru dinamik modeller ve kapsamlı çevrimdışı ayarlamalar gerektiren geleneksel kuvvet kontrol yöntemlerinin aksine, yaklaşımımız 10.000'den az eğitim iterasyonu ile hızlı öğrenmeyi mümkün kılar. Bu da fiziksel sistemlerde gerçek zamanlı veya gerçek zamana yakın uygulama potansiyelini sağlar. Simülasyon sonuçları, Q-öğrenme ajanının kararlı ve etkili bir temas kurma politikası üzerinde başarılı bir şekilde yakınsadığını göstermektedir. Çalışma, temel pekiştirmeli öğrenme algoritmaları ile pratik robotik kontrol problemlerini birleştirmeye katkı sağlamakta ve kuvvet kontrollü etkileşim görevleri için hafif, model gerektirmeyen öğrenme mimarilerinin uygulanabilirliğini vurgulamaktadır.

Özet (Çeviri)

This thesis investigates the use of reinforcement learning (RL) for robotic force control using a planar elbow manipulator tasked with applying force to a rigid surface. Inspired by simplified but effective simulation environments such as GridWorld, our approach leverages Q-learning to train the manipulator in a discrete action–continuous state setting. The robot agent learns through interaction to establish end-effector contact without prior knowledge of the system's dynamics. The proposed control strategy is implemented in a simulated environment that captures the manipulator's kinematics and the interaction forces with a two-layered wall. Unlike traditional force control methods, which often require accurate dynamic models and extensive offline tuning, our approach enables fast learning with fewer than 10,000 training iterations. This allows for real-time or near-real-time application potential in physical systems. Simulation results demonstrate that the Q-learning agent successfully converges to a stable and effective contact establishment policy. The study contributes to bridging foundational reinforcement learning algorithms and practical robotic control problems, highlighting the feasibility of lightweight, model-free learning architectures for force-regulated interaction tasks.

Benzer Tezler

  1. Tez No

    858141

    Geometric reinforcement learning for robotic manipulation

    Robotik manipulasyon için geometrik takviyeli öğrenme

    NASEEM ALHOUSANI

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

    DR. ÖĞR. ÜYESİ FARES J. ABU-DAKKA

  2. Tez No

    962800

    Değişken kesitli esnek manipülatörün titreşim kontrolü

    Vibration control of variable section flexible manipulator

    FEZA ERALP AYDOĞDU

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Makine MühendisliğiTekirdağ Namık Kemal Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. BAHAR UYMAZ

  3. Tez No

    917421

    Development, implementation, and investigation of admittance control algorithms for physical human-robot interaction scenarios

    Fiziksel insan-robot etkileşimi için kabul kontrolü algoritmalarının geliştirilmesi, uygulanması ve incelenmesi

    EFE ÖZKARA

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Robotik Ana Bilim Dalı

    DOÇ. DR. MUSTAFA MERT ANKARALI

    PROF. DR. ULUÇ SARANLI

  4. Tez No

    436127

    Motion and force control of underactuated robot manipulators based on projected inverse dynamics

    Eksik tahrikli robot kolların ters izdüşüm dinamiği yöntemi ile hareket ve kuvvet kontrolü

    SEDA KORKMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Mekatronik MühendisliğiBahçeşehir Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MEHMET BERKE GÜR

  5. Tez No

    439545

    Force control of robotic manipulators in cooperation

    İşbirlikçi robot manipülatörlerin kuvvet kontrolü

    MATEUSZ SZCZESIAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ZEKİ YAĞIZ BAYRAKTAROĞLU

Geri Dön