Derin pekiştirmeli öğrenme ile robot kol tork kontrolü
Robotic arm torque control via deep reinforcement learning
- Tez No: 692874
- Danışmanlar: PROF. DR. SERDAR İPLİKÇİ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Pamukkale Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 152
Özet
Robot teknolojisini geliştirmek için literatürde ve endüstriyel uygulamalarda model tabanlı yaklaşım kullanılmaktadır. Model tabanlı yaklaşıma alternatif olarak makine öğrenmesinin gelişmesi ve akıllı algoritmalar oluşturulmasıyla her alanda makine öğrenmesi kullanılmaya başlanmıştır. Robotik sistemlerin geliştirilmesi sürecinde sistemin matematiksel modelinin oluşturulması ve kontrol algoritmalarının geliştirilmesi gerekmektedir. Geliştirilen matematiksel modellerin fiziksel sistemleri ifade etmesi gerekmektedir fakat model üzerindeki belirsizlik, analitik çözümün olmaması gibi durumlarda model tabanlı kontrol algoritmaları beklenen performansı üretmemektedir. Pekiştirmeli öğrenme yaklaşımı kullanılarak robot kolun kontrol problemi çözülebilmektedir. Bu tez çalışmasında 3 eksenli seri manipulator (RRR) tipi bir robot kolun tork kontrol problemi incelenecektir. İncelenen robotun kontrol problemi klasik kontrol teorisi ve model tabanlı yaklaşım ile çözülüp, makine öğrenmesinin bir alt kolu olan pekiştirmeli öğrenme algoritmasıyla çözülecektir. Pekiştirmeli öğrenme algoritmalarından Q-öğrenme ve Sarsa öğrenme metodları incelenip ayrık durum ve aksiyon için kontrol problemleri çözülecektir. Robot kontrol problemi sürekli zamanlı olduğu için pekiştirmeli öğrenmenin geleneksel algoritmaları çözüm üretememektedir. Pekiştirmeli öğrenme algoritmalarının sürekli durum ve aksiyon için geliştirilmiş algoritmaları bu tez kapsamında incelenecektir. Derin Q-öğrenme algoritması ile sürekli durum için kontrol problemi çözülecektir. Sürekli durum ve aksiyon için geliştirilen derin deterministik politika gradyanı (DDPG) algoritması ile sürekli zamanlı robot tork kontrol problemi çözülecektir. Sonuç olarak MATLAB ve PYTHON ortamında geliştirilen algoritma ile robotun kontrol problemi çözülüp, robotik sistemlerde oluşan model tabanlı yaklaşımların problemleri pekiştirmeli öğrenme metodu kullanılarak çözülmektedir.
Özet (Çeviri)
The model based approach is used to develop robot technology in literature and industrial applications. Machine learning has started to be used in forming smart algorithms and the development of machine learning, as an alternative to the model based approach. During the development of robotic systems, the forming of mathematical models and the development of control algorithms are needed. Developed mathematical models need to reflect physical systems but uncertainty on the model, and situations where analytic situations are not found, causes unexpected performances in model based control algorithms. Problems with robotic arm control can be solved by using the reinforcement learning approach. In this thesis we'll be analyzing the problem of torque control, in an three axis serial manipulator (RRR) type robot arm. The control problem of the robot arm under analysis, is solved using classical control theory and the model based approach, thus this problem can be solved by using the reinforcement learning technique, which is based on machine learning. The problem of discrete state and action control is solved by using, Q learning and Sarsa learning methods, which are a part of reinforcement learning algorithms. As the robot control problem is continuous time the traditional algorithm of reinforcement learning is unable to form solutions. In this thesis we will be analysing reinforcement learning algorithms, which are developed for continuous time state and action. The control problem for, continuous time state, will be solved by using the deep Q learning algorithm. The continuous time robot torque control problem, will be solved, by using the deep deterministic policy gradient (DDPG) algorithm, which is developed for continuous state and action. As a result the robots' control problem can be solved by using algorithms which are developed in the MATLAB and PYTHON environment. Model based approach problems which are found in robotic systems can be solved by using the reinforcement learning method.
Benzer Tezler
- Pekiştirmeli öğrenme ile robot kol yörünge kontrolü
Robotic arm trajectory control with reinforcement learning
ABDURRAHMAN SEFER DOĞRU
Yüksek Lisans
Türkçe
2022
Mekatronik MühendisliğiBursa Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET MERT
- Dual-arm safe robot manipulation with second arm assistance
Çift kollu robotlarda ikinci kol destekli güvenli robot etkileşimi
ASEL MENEKŞE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
- Simülasyon ortamında derin pekiştirmeli öğrenme ile robot kontrolü
Robot kontrol with deep reinforcement learning in simulation environment
HÜSEYİN PULLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CİHAN KARAKUZU
- Autonomous heading control of a fixed-wing aircraft with deep reinforcement learning
Sabit kanatlı bir uçak için derin pekiştirmeli öğrenme ile otonom yönelim kontrolü
FATİH AHMET SARIGÜL
Yüksek Lisans
İngilizce
2022
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BAYEZİT
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA