Motor kontrol ve öğrenmeye ilişkin nöral yapıların modellenmesi ve donanım üzerinde bir gerçekleme
Modeling neural structures related to motor control and learning and an implementation on hardware
- Tez No: 967404
- Danışmanlar: PROF. DR. NESLİHAN SERAP ŞENGÖR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 160
Özet
Bilgi işlem kapasitesinin artırılması artık sadece transistör ölçeğinde değil, aynı zamanda yeni hesaplama yöntemleri ve mimarileri aracılığıyla gerçekleştirmeyi zorunlu kılmaktadır. Bu bağlamda, biyolojik sistemlerden esinlenen hesaplama yaklaşımları, özellikle de nörobilimi temel alan mimariler, önemli bir araştırma alanı olarak öne çıkmaktadır. Beyindeki enerji etkinliğinin ve bilgi işleme prensiplerinin çözülmesi, nöromorfik hesaplama gibi alternatif mimarilerle yeni nesil, enerji açısından sürdürülebilir bilgi işlem sistemlerinin tasarlanmasına olanak sağlayabilir. Beyni anlamaya yönelik, deneysel çalışmaların yanında evrimsel ve gelişimsel bakış açıları bu kara kutunun girişe uygun bir çıktı üretmek değil, içinde bulunduğu canlıyı hayatta tutmak adına ürettiği çıktı ile girdiyi kontrol etmek üzere geliştiğini gösteriyor. Aksiyonu merkezine alan bu sistemin mekanizmalarını anlamak adına bu çalışma içerisinde motor kontrol ve motor öğrenme süreçlerinin modellenmesi hedeflenmiştir. Davranışın üretiminde beynin birçok bölümü görev alsa da, çalışma içerisinde temelde motor korteks, serebellum ve bazal ganglia bölgelerine odaklanılmıştır. Tez kapsamında gerçekleştirilen ilk çalışmada Intel'in Loihi 2 nöromorfik donanımı üzerinde bazal çekirdek devresi ile bir Go-No Go görevi gerçekleştirildi. Bazal gangliyonların benzetiminde, farklı nöron davranışlarını taklit edebilen Izhikevich modelinin ilk defa bu donanım üzerinde gerçeklenmesi ile oluşturulan ateşleyen sinir ağları kullanılmıştır. Böyle bir donanımın biyolojik yapıların benzetiminde ne kadar başarılı olduğu klasik işlemci mimarileri üzerindeki gerçeklemelerle karşılaştırmalı olarak doğruluk, hız ve enerji tüketimi açılarından incelenmiştir. İkinci çalışmada, bilgilerin nöronlar tarafından ayrı ve tekil olarak işlev gördüğünü öne süren tekil nöron doktrininin aksine nöron popülasyonlarının kollektif dinamiğine odaklanan popülasyon dinamiği bakış açısıyla bir kortiko-bazal ganglia-talamus devresi gerçeklenmiştir. Model iki eklemli bir robot kolu modelinin uzanma görevindeki kontrolünde kullanıldı. Çalışmada, bazal gangliyonların, fazik dopamin salınımının modülatör etkisiyle motor korteksteki hazırlayıcı aktiviteyi güçlendirdiği öne sürülmektedir. Bazal gangliyonların etkisi, bir merkeze-doğru uzanma (center-out-reaching) görevine dayalı hesaplamalı bir modelle test edilmiştir. Elde edilen bulgular, bazal gangliyonların hareketin başlatılmasını kolaylaştırdığını ve davranışın sağlamlığını (robustluğunu) artırdığını göstermektedir. Popülasyon dinamikleri bakış açısıyla elde edilen bu sonuçlar, bazal gangliyonların motor kontrolündeki rolüne ve dopaminle ilişkili bozuklukların, motor kontrolü etkileyen nörodejeneratif hastalıklardaki semptomlarına ilişkin anlayışımızı geliştirebilir. Son olarak, çalışma kapsamında popülasyon dinamikleri bakış açısına dayalı bir kortiko-serebellar ağ için duyusal-motor öğrenmeye yönelik bir çerçeve sunulmaktadır. Optimal kontrol teorisi yaklaşımı kullanılarak geliştirilen serebellum modeli, premotor girdiler aracılığıyla hazırlık aktivitesini iyileştirir ve motor korteksin hareket için gerekli başlangıç koşullarına daha verimli bir şekilde ulaşmasını sağlar. Yeni becerilerin edinimine odaklanan geleneksel motor öğrenme yaklaşımlarının aksine, bu paradigma, içsel motivasyonla yönlendirilen tekrar yoluyla halihazırda gerçekleştirilebilen davranışların otomatikleşmesine vurgu yapar. Önerilen model, merkeze-doğru uzanma (center-out reaching) görevinde değerlendirilmiş ve serebellumun rolünün, hareketin başarılı bir şekilde gerçekleştirilmesi için gerekli hazırlık süresini kısaltmak olduğu gösterilmiştir. Bu bulgular, kortiko-serebellar etkileşimlerin motor hazırlığın optimize edilmesinde kritik bir rol oynayabileceğini gösterir ve hareket verimliliğinin altında yatan sinirsel mekanizmalara dair önemli bir bakış açısı sunar.
Özet (Çeviri)
Increasing computational power is no longer solely achieved through transistor scaling but also necessitates exploring novel computational methods and architectures. In this context, biologically inspired computational approaches, particularly architectures based on neuroscience, stand out as a significant research area. Deciphering the energy efficiency and information processing principles of the brain can pave the way for designing next-generation, energy-sustainable computing systems with alternative architectures like neuromorphic computing. Beyond experimental studies aimed at understanding the brain, evolutionary and developmental perspectives reveal that this black box evolved not merely to produce an output suitable for an input but to control the input with the output it generates for the survival of the organism. To understand the mechanisms of this action-centric system, this study aims to model motor control and motor learning processes. Although many parts of the brain are involved in the production of behavior, this study primarily focuses on the motor cortex, cerebellum, and basal ganglia regions. In the first study within the thesis, a Go-No Go task was implemented with a basal ganglia circuit on Intel's Loihi 2 neuromorphic hardware. For the simulation of the basal ganglia, spiking neural networks were created using the Izhikevich model, which can mimic different neuron behaviors. This neuron model was implemented on this hardware for the first time. The success of such hardware in simulating biological structures was investigated in terms of accuracy, speed, and energy consumption through comparative analyses with implementations on classical processor architectures. This study introduces a neuron model for Loihi 2 which is capable of replicating a wider range of neuronal behaviors, including bursting, chattering, and rebound spiking. Despite the constraints of fixed-point arithmetic, our implementation using twelve-bit fractional precision achieved results closely aligned with CPU-based simulations. In terms of energy consumption, while the Izhikevich model offers benefits in dynamic power usage, the LIF neuron model proves more energy-efficient per computation step. However, the Izhikevich model's ability to mimick diverse neural dynamics presents a compelling trade-off for applications requiring such complexity. Additionally, unlike the readily available hardware-based LIF neurons, the Izhikevich model supports dynamic modulation by neurotransmitters like dopamine, enhancing its adaptability. Ultimately, Loihi 2 emerges as a versatile and energy-efficient neuromorphic computing platform capable of supporting biologically realistic neural network implementations. With the continued development of the Lava framework, Loihi 2 is well-positioned to further unlock its potential for advanced neural simulations. In the second study, a cortico-basal ganglia-thalamus circuit was implemented from a population dynamics perspective, focusing on the collective dynamics of neuron populations, contrary to the single neuron doctrine that suggests neurons function separately and individually. The model was used in the control of a reaching task for a two-joint robot arm. The study proposes that the basal ganglia amplify preparatory activity in the motor cortex through the modulatory effect of phasic dopamine release. The influence of the basal ganglia was tested with a computational model based on a center-out reaching task. The findings indicate that the basal ganglia facilitate the initiation of movement and increase the robustness of behavior. These results obtained from the population dynamics perspective can improve our understanding of the role of the basal ganglia in motor control and the symptoms of neurodegenerative diseases affecting motor control, which are related to dopamine. In this study, the first key assumption is that cortical activity is enhanced by thalamic input, which is either suppressed or disinhibited through dopamine modulation by the basal ganglia. According to the proposed view, the basal ganglia do not directly amplify activity related to movement execution, but rather strengthen activity associated with the initial conditions during the preparation phase. The simulation experiments were designed to reflect this perspective. Each trial is divided into three phases: target presentation, a go cue, and movement initiation. It is assumed that phasic dopamine is released during the interval between the go cue and movement onset. In this framework, the basal ganglia and thalamic activity influence the preparatory neural dynamics rather than transient cortical patterns during movement. Our simulations show that this preparatory enhancement emerges naturally in the cortical recurrent network even without optimization. Moreover, changes in phasic dopamine levels affect cortical activity at movement onset. Within this paradigm, dopamine modulates the excitability of the striatum before movement begins, leading to an increase in population activity. This view may offer a population-level explanation for the link between dopamine's role in initiating motor activity and the movement initiation difficulties observed in Parkinson's disease. Secondly, this study differs from previous population dynamics models by modeling individual nuclei with distinct neural populations. We demonstrate that the basal ganglia's push-pull mechanism—mediated by the direct and indirect pathways—can support the cortex in more effectively and robustly reaching the desired initial conditions for movement. To test this, we evaluated our model in a reaching task under varying preparation durations and noise levels. When the basal ganglia were removed from the network and the preparation time was shortened, we observed high variability and inconsistent reach performance. Additionally, under default noise conditions, the network failed to generate accurate reaching behavior in the absence of the basal ganglia. Finally, within the scope of the study, a sensory-motor learning framework based on the population dynamics perspective is presented for a cortico-cerebellar network. The cerebellum model, developed using the optimal control theory approach, improves preparatory activity through premotor inputs and enables the motor cortex to reach the necessary initial conditions for movement more efficiently. Unlike traditional motor learning approaches that focus on the acquisition of new skills, this paradigm emphasizes the automatization of already achievable behaviors through internally motivated repetition. The proposed model was evaluated in a center-out reaching task, and the role of the cerebellum in shortening the preparation time required for successful movement execution was demonstrated. These findings suggest that cortico-cerebellar interactions may play a critical role in optimizing motor preparation and offer significant insights into the neural mechanisms underlying movement efficiency. The network used in this study comprises two main components: a recurrent neural network (RNN) representing the primary motor cortex, and a feedforward structure representing the cerebellum. As a dynamic system, the RNN receives input related to sensory information from an abstract premotor area and the cerebellum during the preparation phase. Once the desired initial condition is reached, the RNN generates a damped oscillatory pattern during the execution phase through its internal dynamics. In later stages, the cerebellum receives error signals indicating deviations from the desired cortical activity via the inferior olive (IO) group. To minimize this error, synapses on the parallel fibers are updated. At this point, basis kernels within the granular layer enable temporal learning. Rather than acquiring an entirely new motor skill, the sensorimotor learning process in this study facilitates behavior by reducing the time required for preparatory activity. This type of learning can be driven by intrinsically motivated repetitions. Furthermore, since shorter preparation periods are required between sequential motor patterns, the process may also contribute to sequence learning. While the current model performs well in trials requiring more than 150 ms of preparation, its learning performance declines as the number of targets increases. In such cases, expanding the size of the granular layer could help overcome this limitation. At the end of the study, as a future direction, a model based on motor babbling was proposed from a developmental perspective to incorporate a new goal-directed motor behavior into the repertoire. In this paradigm, in order for a new motor behavior—beyond reflexes—to be added to the repertoire, the organism first begins by producing random motor behaviors without aiming at a specific goal and starts associating these actions with their outcomes. In this initial phase, the behaviors show a high degree of variability, and instead of exploiting existing behaviors, new ones are explored. As learning progresses, the movements begin to become more automated. In the studies conducted within the scope of this thesis, the focus was on the dorsal region of the striatum and the dopamine region of the substantia nigra pars compacta. As a future research direction, the model aims to include the ventral region as well, thereby incorporating the limbic loop. This would allow the development of a motor learning model that includes motivation, action-outcome association, and ultimately the development of goal-directed behavior.
Benzer Tezler
- Neurocomputational models for action selection and their implementation on robots
Hareket seçimine ilişkin beyin esinlenmeli hesaplamalı modeller ve robotlar üstünde gerçekleme
EMEÇ ERÇELİK
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. NESLİHAN SERAP ŞENGÖR
- Learning how to select an action: From bifurcation theory to the brain inspired computational model
Nasıl eylem seçileceğini öğrenme: Dallanma teorisinden beyin esinlenmeli hesaplamalı modele
BERAT DENİZDURDURAN
Yüksek Lisans
İngilizce
2012
Biyomühendislikİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. NESLİHAN SERAP ŞENGÖR
- Dikkat eksikliği hiperaktivite bozukluğu olan kişilerde dikkatin uzaysal asimetrisinin incelenmesi
Investigation of spatial asymmetry of attention in individuals with attention deficit hyperactivity disorder
EMEL GÜNEŞ
- Harmanlanmış öğrenme ortamında 7. sınıf öğrencilerinin öğrenme düzeylerinin araştırılması (İzmir ili -Karşıyaka ilçesi Eren Şahin Eronat Ortaokulu örneği)
Investigation of the learning levels of 7th grade students in a blended learning environment (İzmir province -Karşıyaka district Eren Şahin Eronat Secondary School example)
BENAY YALÇIN
Yüksek Lisans
Türkçe
2020
Eğitim ve ÖğretimManisa Celal Bayar ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERVE POLAT
- Kontrol sistemlerinde yapay sinir ağı uygulamaları
Başlık çevirisi yok
SERTAÇ CANARAN
Yüksek Lisans
Türkçe
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiPROF.DR. LEYLA GÖREN