Memory networks as neurocomputational models of cognitive functions
Kognitif fonksiyonların sinirbilimsel modelleri olarak bellek ağları
- Tez No: 893862
- Danışmanlar: DOÇ. DR. MURAT PERİT ÇAKIR
- Tez Türü: Doktora
- Konular: Psikoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Psychology, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilişsel modelleme, Derin öğrenme, Kural çıkarma, İşler bellek, Cognitive modeling, Deep learning, Rule extraction, Working memory
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, bellek ağlarını sözdizim ve kural öğreniminin nörobilgisayar modelleri olarak incelemek için bir bilişsel hesaplama çerçevesi geliştirmektedir. Özellikle Nöral Turing Makineleri (NTMs) üzerine odaklanılarak, bu yapıların uzun kısa süreli bellek (LSTM) ve Legendre bellek birimi (LMU) gibi tekrarlayan sinir ağlarıyla karşılaştırılması yapılmaktadır. Yapay gramerler kullanarak bu sinirsel mimarilerin sözdizimsel işlem yeteneklerini ve özellikle kural öğrenme ve genelleme becerilerini değerlendirerek, bilişsel modellerdeki bellek mekanizmalarının, özellikle de harici belleklerin rolü incelenmiştir. Deneyler, sinir ağlarının hiyerarşik yapılar ve uzun mesafe bağımlılıklarına odaklanarak, düzenli (regullar), context-free gramerler (CFG'ler) ve mildly context-sensitive gramerler (MCFG'ler) gibi çeşitli gramer türlerinde eğitilmesini içermektedir. Tezde yapılan karşılaştırmalı analiz, harici bellek yapıları olan NTM'lerin, düzenli tekrarlayan ağların aksine, kuralları öğrenerek CFG'leri eğitim verilerinin ötesinde öğrenip genelleyebildiğini göstermektedir. Ayrıca, meta analizle destekleyerek, bu tez, bazı istisnalar dışında, geliştirilmiş bellek ağlarının MCSG özelliklerine sahip gramerleri genelleyebildiğini göstermektedir. Bellek ağlarının bu kapasitesi, bu görevler için gerekli olabilecek yapısal önyargıları ve insan beynindeki olası sinirsel karşılıklarını anlamak amacıyla dilbilimsel ve sinirbilimsel çalışmalarla karşılaştırılmaktadır. Bu tez, harici bir bellekte açık temsillerin temsil edilmesi ve saklanabilmesinin, sinir ağlarında kural tabanlı sembolik işlemler için anahtar bir faktör olabileceğini ve bunun sinirbilim ve yapay zeka için önemli sonuçlar doğurabileceğini önermektedir.
Özet (Çeviri)
This thesis develops a cognitive computational framework for exploring memory networks as neurocomputational models of syntax and rule learning, with a particular focus on Neural Turing Machines (NTMs). It contrasts NTMs with recurrent neural networks such as long short-term memory (LSTM) and Legendre memory unit (LMU) architectures. By using artificial grammars to evaluate syntactic processing capabilities and specifically assessing the rule-learning and generalization abilities of these neural architectures, it studies the role of memory mechanisms in cognitive models, particularly the role of external memory. The experiments involve training neural networks on various types of grammar, including regular, context-free grammars (CFGs) and mildly context-sensitive grammars (MCFGs), with a focus on hierarchical structures and long-distance dependencies. Comparative analysis in the thesis shows that unlike regular recurrent networks, neural networks with external memory structures such as NTM were able to learn and generalize CFGs beyond training data by learning the rules. Supported also by meta-analysis, this thesis shows that augmented memory networks can generalize grammars with MCSG properties with a few exceptions. This capacity of the memory networks is compared with linguistic, and neuroscientific studies to understand the structural biases that might be required for these tasks and their potential neural correlates in the human brain. This thesis suggests that the ability to represent and store explicit representations in an external memory might be a key factor for rule-based symbolic operations on neural networks with implications for neuroscience and AI.
Benzer Tezler
- Neuro classifiers for condition and bearing health assessment of an electric motor
Elektrik makinasında durum ve rulman sağlığı değerlendirmesi için nöro sınıflandırıcılar
MINA GHORBAN ZADEH BADELI
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU BAYRAM KARA
- Yapay zeka teknikleri kullanarak güç sistemlerinin kontrolü ve simülasyonu
Control and simulation of power systems using artificial intelligence techniques
AHMED SALIH KHAMEES
Doktora
Türkçe
2026
Elektrik ve Elektronik MühendisliğiKarabük ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HÜSEYİN ALTINKAYA
- Communication theoretical modeling and analysis of neuronal communication with synaptic plasticity
Sinaptik plastisite ile nöro-spike iletişimin iletişim teorik modellemesi ve analizi
TOOBA KHAN
Doktora
İngilizce
2022
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGÜR BARIŞ AKAN
- Memory biased random walk as an empirical approach to identifying community structures in social and biological networks
Sosyal ve biyolojik ağlardaki komünite yapılarının teşhisine ampirik bir yaklaşım olarak hafızalı rassal yürüyüş
MESUT YÜCEL
Doktora
İngilizce
2016
BiyomühendislikEge ÜniversitesiBiyomühendislik Ana Bilim Dalı
PROF. DR. MURAT ELİBOL
DOÇ. DR. URİ HERSHBERG
- An Analysis of learning in the recurrent random neural network as autoassociative memory
Döngülü rastlantısal sinir ağının özçağırışımlı hafıza olarak öğreminin çözümlenmesi
ALİ EMRE KARAÖZ
Yüksek Lisans
İngilizce
1995
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiDOÇ.DR. UĞUR HALICI