Modulating reservoir dynamics with reinforcement learning for efficient robot skill generation
Verimli robot becerisi üretimi için pekiştirmeli öğrenme ile rezervuar dinamiklerinin modüle edilmesi
- Tez No: 1003160
- Danışmanlar: PROF. DR. ERHAN ÖZTOP
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Pekiştirmeli öğrenme, Yapay zeka ve makine öğrenmesi dersi, Reinforcement learning, Artificial intelligence and machine learning course
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Gösterimden Öğrenme (Learning from Demonstration, LfD), robotlara yeni beceriler kazandırmak için sezgisel ve verimli bir yöntem sunar; ancak, öğrenilen becerilerin yeniden optimize edilmeden yeni görev hedeflerine veya kısıtlarına uyarlanması hala önemli bir zorluktur. Pekiştirmeli Öğrenme (Reinforcement Learning, RL) bu sınırlamayı giderebilirken, geleneksel LfD-RL yaklaşımları genellikle yüksek hesaplama maliyetine sahiptir ve önceki becerilerin unutulması (catastrophic forgetting) riski taşır. Bu tezde, beceri edinimini beceri uyarlamasından ayıran iki aşamalı bir öğrenme çerçevesi olan Dinamik Uyarlamalı Rezervuar Hesaplama (Dynamic Adaptive Reservoir Computing, DARC) yöntemi sunulmaktadır. İlk aşamada, bir Bağlama Dayalı Yankı Durum Ağı (Context-based Echo State Network, CESN) gösterimlerden öğrenilerek temel beceri modellenir. İkinci aşamada ise, RL kullanılarak CESN'in bağlam girişleri modüle edilir. Böylece, ağın iç yapısına müdahale etmeksizin sistemin yeni koşullara uyum sağlaması mümkün olur. Bu yaklaşım, uyarlamayı düşük boyutlu bir giriş modülasyonu problemine indirger ve hem verimliliği artırır. DARC yöntemi, zorluk seviyesi artan üç robotik görev üzerinde değerlendirilmiştir: hedefe ulaşma, engelden kaçınarak hedefe ulaşma ve dinamik yörünge takibi. Tüm görevlerde DARC, güçlü bir temel yöntemle karşılaştırmalı olarak test edilmiş ve bu yönteme kıyasla daha yüksek genelleme yeteneği, daha düşük hesaplama maliyeti ve daha fazla dayanıklılık göstermiştir. En önemlisi, önerilen mimari, gösterimle öğrenilen orijinal beceriyi koruyarak unutmayı etkili biçimde önlemektedir. Bu sonuçlar, DARC'ın robotlar için uyarlanabilir beceri öğreniminde ölçeklenebilir ve uygulanabilir bir çözüm olduğunu göstermektedir.
Özet (Çeviri)
Learning from Demonstration (LfD) provides an intuitive and efficient approach to robot skill acquisition, but adapting those skills to new task goals or constraints without re-optimization of the learned model remains a persistent challenge. While Reinforcement Learning (RL) can address this limitation, conventional LfD–RL integrations are often computationally intensive and prone to forgetting previously acquired behaviors. This thesis introduces Dynamic Adaptive Reservoir Computing (DARC), a two-stage learning framework that separates skill acquisition from skill adaptation. In the first stage, a Context-based Echo State Network (CESN) is trained from demonstrations to encode the base skill. In the second stage, RL is used to modulate the CESN's context inputs, enabling the system to adapt to novel conditions without altering the underlying network parameters. This approach transforms adaptation into a low-dimensional input modulation problem, resulting in improved efficiency. DARC is evaluated on three robotic tasks of increasing complexity: reaching, reaching with obstacle avoidance, and dynamic trajectory tracking. Across all tasks, DARC outperforms a strong baseline in generalization, computational efficiency, and robustness. Importantly, the proposed architecture preserves the integrity of the original demonstrated behavior, effectively mitigating catastrophic forgetting. These findings support DARC as a scalable and practical framework for adaptive robot skill learning.
Benzer Tezler
- Detection and evaluation of sudden stratospheric warming : A case study of water vapor transport
Stratosferik ani ısınmaların tespiti ve değerlendirilmesi: Su buharı taşınımı örnek olay incelemesi
SİMLA DURMUŞ
Doktora
İngilizce
2026
Meteorolojiİstanbul Teknik ÜniversitesiMeteoroloji Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DENİZ DEMİRHAN
- Travma sonrası stres bozukluğu (TSSB) belirti şiddetinin dünya görüşü ve inanışlar üzerindeki etkisi
The impact of post traumatic stress disorder (PTSD) symptom severity on worldview and beliefs
MAGED HUSSEIN
Yüksek Lisans
Türkçe
2026
PsikolojiHaliç ÜniversitesiKlinik Psikoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞENUR KARAHAN YABANİGÜL
- Petrol arama çalışmalarında yeraltı telsiz duyarga ağları için kanal modelleme
Channel modelling for wireless underground sensor network used in oil recovery
MUSTAFA ALPER AKKAŞ
Doktora
Türkçe
2014
Elektrik ve Elektronik MühendisliğiEge ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. RADOSVETA SOKULLU
- Perceptual Shift Keying: A Novel Modulation Technique for Odor-Based Molecular Communication
Algısal kaydırmalı anahtarlama: Koku tabanlı moleküler haberleşme için yeni bir modülasyon tekniği
FATİH EFE BİLGEN
Yüksek Lisans
İngilizce
2025
İletişim BilimleriKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGÜR BARIŞ AKAN