İnsansı robot yürüyüşünün derin pekiştirmeli öğrenme tabanlı kontrolü
Deep reinforcement learning-based control of humanoid robot walking
- Tez No: 1011448
- Danışmanlar: PROF. DR. ÖVÜNÇ POLAT
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Bacaklı robotlar, Otonom robotlar, İnsani robot, Legged robots, Autonomous robots, Humanoid robot
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, sagittal düzlem ağırlıklı harekete sahip üç boyutlu bir insansı robot modelinde derin pekiştirmeli öğrenme tabanlı yürüyüş denetimi incelenmiş ve özellikle kol salınım stratejilerinin yürüyüş performansı üzerindeki etkileri evrimsel strateji destekli hibrit bir öğrenme yapısı çerçevesinde değerlendirilmiştir. Çalışmada Simulink/Simscape Multibody ortamında oluşturulan, torkla sürülen ve toplam sekiz aktif serbestlik derecesine sahip bir insansı model kullanılmıştır. Bu serbestlik derecelerinin altısı alt ekstremitelere, ikisi ise omuz eklemlerine atanmıştır. Böylece üç boyutlu fiziksel yapı korunurken, öğrenme sürecini yönetilebilir kılacak ölçüde sadeleştirilmiş fakat biyomekanik açıdan anlamlı bir modelleme altyapısı oluşturulmuştur. İzlenen yöntem iki aşamalı olarak yapılandırılmıştır. İlk aşamada ES-SAC, ES-TD3 ve ES-DDPG ajanları ile bunların saf karşılıkları olan SAC, TD3 ve DDPG algoritmaları aynı problem kurulumu altında karşılaştırılmıştır. Değerlendirmelerde normalize eğri altı alan, son dönem ödülü, en iyi pencere ödülü, hedefe ulaşma bölüm sayısı ve parkur tamamlama süresi gibi ölçütler kullanılmıştır. Elde edilen bulgular, evrimsel strateji bileşeninin keşif yeteneğini güçlendirdiğini, öğrenme sürecinin dayanıklılığını artırdığını ve genel performansa olumlu katkı sağladığını göstermiştir. Bu aşamada ES-SAC yaklaşımı, genel öğrenme başarımı ve kararlılık bakımından en güçlü yöntem olarak belirlenmiştir. İkinci aşamada, en başarılı hibrit ajan olan ES-SAC kullanılarak üç farklı kol stratejisi düz ve engebeli zemin koşullarında ayrıntılı biçimde incelenmiştir. Bu stratejiler, kolların tamamen sabit tutulduğu sabit kol durumu, kolların aynı taraftaki bacaklarla aynı fazda salındığı anti-normal durum ve insan yürüyüşüne benzer karşı fazlı kol-bacak koordinasyonunu temsil eden normal durumdur. Bu aşamada, yürüyüş kararlılığı, ileri yönlü hareket sürekliliği, gövde dengesi ve enerjiyle ilişkili davranışları birlikte teşvik eden özel bir ödül fonksiyonu tanımlanmış, kol salınım stratejileri de omuz eklemlerinin ilgili faz ilişkilerine göre modellenmiştir. Böylece kol hareketi yalnızca kinematik bir tercih olarak değil, öğrenme sürecini ve yürüme davranışını doğrudan etkileyen bir denetim bileşeni olarak ele alınmıştır. Her koşul için beş bağımsız rastgele tohum ile eğitim yapılmış, ödül eğrileri ve yürüyüş kalitesi skoru ile birlikte ileri hız, yanal sapma, düşey salınım, toplam güç, toplam tork, birim hız başına güç ve birim hız başına tork gibi fiziksel ve davranışsal göstergeler üzerinden çok ölçütlü bir değerlendirme gerçekleştirilmiştir. Ayrıca eklem davranışlarının çevrimsel yapısını incelemek amacıyla olay hizalamalı limit çevrim faz portreleri kullanılmış, böylece analiz yalnızca ödül temelli bir karşılaştırma ile sınırlı bırakılmayarak yürüyüşün yapısal niteliğini yansıtan bir değerlendirme çerçevesi oluşturulmuştur. Elde edilen bulgular, kol salınım biçimlerinin denetim başarımı üzerindeki etkisini ortaya koymanın yanı sıra insan yürüyüşünden elde edilen deneysel çıktılarla da karşılaştırılmıştır. Bu karşılaştırmalar, insan yürüyüşünde doğal olarak gözlenen karşı fazlı kol-bacak koordinasyonunun ritmik süreklilik, dengeleyici gövde davranışı ve enerji ekonomisi bakımından bu çalışmada elde edilen robot yürüyüş bulgularıyla genel olarak uyumlu olduğunu göstermiştir. Bununla birlikte, robot deneylerinde anti-normal kol stratejisinin bazı görev odaklı ölçütlerde, özellikle ileri hız ve birim hız başına tork gibi göstergelerde avantaj sağlayabildiği gözlenmiştir. Buna karşılık normal kol salınımı, öğrenme kararlılığı, ödül düzeyi ve yürüyüş kalitesi bakımından daha dengeli ve daha istikrarlı bir yapı ortaya koymuştur. Sabit kol konfigürasyonu ise hem öğrenme hem de yürüyüş niteliği bakımından diğer stratejilerin gerisinde kalmıştır. Sonuç olarak bu tez, hibrit ES-SAC denetimi altında kol hareketinin insansı robot yürüyüşünde yalnızca biyomekanik görünümü değil, aynı zamanda öğrenme verimliliğini, kararlılığı, hız özelliklerini, izleme başarımını ve enerjiyle ilişkili ölçütler arasındaki ödünleşimleri de belirgin biçimde şekillendirdiğini ortaya koymaktadır. Çalışma, insan yürüyüşünden esinlenen doğal kol salınımının dengeleyici ve ekonomik bir çözüm sunduğunu, ancak robotik denetim bağlamında alternatif kol stratejilerinin de belirli performans hedefleri altında işlevsel üstünlükler üretebildiğini göstermektedir. Bu yönüyle tez, kol salınımını ikincil bir hareket unsuru olarak değil, insansı lokomosyonda işlevsel ve tasarımsal öneme sahip bir denetim değişkeni olarak konumlandırmaktadır.
Özet (Çeviri)
In this dissertation, deep reinforcement learning based locomotion control is investigated for a three-dimensional humanoid robot model whose motion is predominantly governed by the sagittal plane, and the effects of arm swing strategies on walking performance are evaluated within an evolutionary strategy assisted hybrid learning framework. The study employs a torque driven humanoid model developed in the Simulink/Simscape Multibody environment with a total of eight active degrees of freedom. Six of these active degrees of freedom are assigned to the lower limbs, while the remaining two correspond to the shoulder joints. In this way, the three-dimensional physical structure is preserved while a simplified, yet biomechanically meaningful modelling framework is established to keep the learning process tractable. The methodology is organized in two stages. In the first stage, ES-SAC, ES-TD3, and ES-DDPG agents are compared with their vanilla counterparts SAC, TD3, and DDPG under the same problem formulation. The evaluation includes normalized area under the learning curve, final period reward, best window reward, episodes to target, and track completion time. The findings show that the evolutionary strategy component strengthens exploration capability, improves the robustness of the learning process, and contributes positively to overall performance. At this stage, ES-SAC is identified as the strongest method in terms of overall learning performance and stability. In the second stage, the best performing hybrid agent, ES-SAC, is used to investigate three arm swing strategies under both flat and rough terrain conditions. These strategies are the fixed-arm condition, in which both arms are kept locked, the anti-normal condition, in which the arms swing in phase with the ipsilateral legs, and the normal condition, which represents the human-like contralateral arm-leg coordination pattern. At this stage, a task specific reward function is designed to jointly promote walking stability, forward progression continuity, trunk balance, and energy related behaviours, while the arm swing strategies are modelled according to the phase relationships imposed at the shoulder joints. Thus, arm motion is treated not merely as a kinematic preference but as a control component that directly shapes both the learning process and the resulting locomotion behaviour. For each condition, training is conducted with five independent random seeds, and a multi-criteria evaluation is performed using reward curves, walking quality score, forward velocity, lateral deviation, vertical oscillation, total power, total torque, power per unit speed, and torque per unit speed. In addition, event aligned limit cycle phase portraits are employed to examine the cyclic structure of joint behaviour, allowing the analysis to go beyond reward-based comparison and capture the structural characteristics of locomotion. The findings reveal not only how different arm swing patterns affect control performance but also how these outcomes relate to experimental findings reported for normal human walking. These comparisons indicate that the naturally occurring contralateral arm-leg coordination observed in human gait is generally consistent with the robot results in terms of rhythmic continuity, stabilizing whole-body behaviour, and energy economy. However, the anti-normal arm strategy is found to provide advantages in certain task-oriented metrics, particularly forward speed and torque per unit speed. In contrast, the normal arm swing strategy yields a more balanced and stable profile in terms of learning stability, reward level, and walking quality. The fixed-arm configuration performs worse than the other strategies in both learning and locomotion quality. Overall, this dissertation demonstrates that under hybrid ES-SAC control, arm motion shapes not only the biomechanical appearance of humanoid walking but also learning efficiency, stability, speed related behaviour, tracking performance, and the trade-offs among energy related metrics. The study shows that natural arm swing inspired by human gait offers a stabilizing and economical solution, while alternative arm strategies may still produce functional advantages under specific performance objectives in robotic control. In this respect, the dissertation positions arm swing not as a secondary motion feature but as a functionally significant control variable in humanoid locomotion.
Benzer Tezler
- İnsansı robotların yürüme becerilerinin derin pekiştirmeli öğrenme algoritmalarıyla geliştirilmesi
Developing walking skills of humanoid robots with deep reinforcement learning algorithms
ÇAĞRI KAYMAK
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞEGÜL UÇAR
- İnsansı robotlarda yürüme
Humanoid walking
SABRİ YILMAZ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. METİN GÖKAŞAN
- Humanoid robot omnidirectional walking trajectory generation and control
İnsansı robotlar için çok yönlü yürüme referans yörüngesi sentezi ve kontrolü
METİN YILMAZ
Yüksek Lisans
İngilizce
2010
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. KEMALETTİN ERBATUR
- Walking trajectory generation and control of the humanoid robot: Suralp
İnsansı robot Suralp?in yürüme yörüngesi sentezi ve kontrolü
EVRİM TAŞKIRAN
Yüksek Lisans
İngilizce
2009
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. KEMALETTİN ERBATUR
- İki ayaklı robotların modellenmesi ve kontrolü
Modelling and controlling of biped robots
KENAN MÜDERRİSOĞLU
Yüksek Lisans
Türkçe
2016
Mekatronik MühendisliğiYıldız Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYDIN YEŞİLDİREK