Brain-inspired robot navigation using reinforcement learning with hippocampal and striatal contributions
Hipokampal ve striatal katkılarla pekiştirmeli öğrenme kullanarak beyin esinli robot gezinim
- Tez No: 977830
- Danışmanlar: DR. ÖĞR. ÜYESİ KUTLUK BİLGE ARIKAN, DOÇ. DR. ÇAĞRI TEMUÇİN ÜNAL
- Tez Türü: Yüksek Lisans
- Konular: Mekatronik Mühendisliği, Nöroloji, Makine Mühendisliği, Mechatronics Engineering, Neurology, Mechanical Engineering
- Anahtar Kelimeler: Hipokampus, Pekiştirmeli öğrenme, Robot yönlendirme, Striatum, Hippocampus, Reinforcement learning, Robot navigation, Striatum
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Ted Üniversitesi
- Enstitü: Lisansüstü Programlar Enstitüsü
- Ana Bilim Dalı: Makine Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, bir mobil robotun beyin esinli“dijital davranışsal ikizlerini”geliştirerek uzamsal yönsemenin ikili sistem teorisini araştırmaktadır. Simüle edilmiş bir çift H-şekilli labirentte iki pekiştirmeli öğrenme (PÖ) ajanı uyguladık: striatal model-serbest (egosentrik) sistemi taklit etmek için bir Derin Q-Ağı (DQN) ve hipokampal model-tabanlı (allosentrik) sistem için bir Proksimal Politika Optimizasyonu (PPO) ajanı. Nöromodülatörlere (örneğin, indirim faktörü, keşif) benzer hiperparametreleri sistematik olarak ayarladık ve robotun başlangıç pozisyonunun eğitimden sonra değiştirildiği bir sondaj deneyi paradigması kullanarak yönseme stratejilerini değerlendirdik. Sonuçlarımız, DQN ajanının katı, alışkanlığa dayalı bir strateji benimsediğini ve sondaj deneyinde başarısız olduğunu göstermektedir. Buna karşılık, PPO ajanı esnek, allosentrik bir bilişsel harita geliştirerek yeni başlangıç noktasından başarıyla yönsemiştir. Önemli bir bulgu olarak, belirli hiperparametre ayarlamaları klinik profillere benzer davranışları yeniden üretmiştir: miyopik, aşırı keşifçi bir DQN, DEHB özelliklerini yansıtırken, daha az sağlam bir haritaya sahip bir PPO, OSB'ye benzer şekilde ipucuna bağımlılık göstermiştir. Bu çalışma, PÖ mekanizmalarını yönsemenin nöral temellerine bağlayan güçlü bir hesaplamalı test ortamı oluşturmakta ve nöropsikiyatrik bozukluklardaki yönseme eksikliklerini araştırmak için yenilikçi bir çerçeve sunmaktadır.
Özet (Çeviri)
This study investigates the dual-system theory of navigation by developing brain-inspired“digital behavioral twins”of a mobile robot. We implemented two reinforcement learning (RL) agents in a simulated double H-maze: a Deep Q-Network (DQN) to emulate the striatal model-free (egocentric) system, and a Proximal Policy Optimization (PPO) agent for the hippocampal model-based (allocentric) system. We systematically tuned hyperparameters analogous to neuromodulators (e.g., discount factor, exploration) and evaluated navigation strategies using a probe trial paradigm where the robot's starting position was changed after training. Our results show that the DQN agent defaults to a rigid, habitual strategy, failing the probe trial. In contrast, the PPO agent develops a flexible, allocentric cognitive map, successfully navigating from the new starting point. Crucially, specific hyperparameter tuning reproduced behaviors analogous to clinical profiles: a myopic, hyper-exploratory DQN mirrored traits of ADHD, while a PPO with a less robust map showed cue-dependency akin to ASD. This work establishes a powerful computational testbed for linking RL mechanisms to the neural underpinnings of navigation and offers a novel yet minimal framework for investigating navigational deficits in neuropsychiatric disorders.
Benzer Tezler
- A brain-inspired cognitive architecture for developmental and social human-robot interaction
Gelişimsel ve sosyal insan-robot etkileşimi için beyin esinli bilişsel mimari
EVREN DAĞLARLI
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜLAY ÖKE GÜNEL
DOÇ. DR. HATİCE KÖSE
- Brain-inspired visuo-haptic object recognition
Başlık çevirisi yok
SİBEL TOPRAK
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTechnısche Unıversıtat Hamburg-Harburg - Affordance-based altruistic robotic architecture for human-robot collaboration
İnsan-robot işbirliği için sağlarlık bazlı altruistik robotik mimarisi
MERT İMRE
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE UĞUR
- Tip-2 bulanık mantık editörünün geliştirilmesi ve esnek eklemli robot kolunun denetimi
Development of interval type-2 fuzzy logic toolbox and control of flexible joint robot manipulator
ETHEM KELEKÇİ
Yüksek Lisans
Türkçe
2016
Mekatronik MühendisliğiKocaeli ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SELÇUK KİZİR
- Farklı bağlantı modelleri için halka bağlı sinir ağlarının sayısal incelenmesi
Numerical analysis of ring model neural networks with different connection models
HURİYE NUR DEĞİRMENCİOĞLU
Yüksek Lisans
Türkçe
2012
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. İ. SERDAR ÖZOĞUZ