Memory networks as neurocomputational models of cognitive functions
Kognitif fonksiyonların sinirbilimsel modelleri olarak bellek ağları
- Tez No: 893862
- Danışmanlar: DOÇ. DR. MURAT PERİT ÇAKIR
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Psikoloji, Computer Engineering and Computer Science and Control, Psychology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 217
Özet
Bu tez, bellek ağlarını sözdizim ve kural öğreniminin nörobilgisayar modelleri olarak incelemek için bir bilişsel hesaplama çerçevesi geliştirmektedir. Özellikle Nöral Turing Makineleri (NTMs) üzerine odaklanılarak, bu yapıların uzun kısa süreli bellek (LSTM) ve Legendre bellek birimi (LMU) gibi tekrarlayan sinir ağlarıyla karşılaştırılması yapılmaktadır. Yapay gramerler kullanarak bu sinirsel mimarilerin sözdizimsel işlem yeteneklerini ve özellikle kural öğrenme ve genelleme becerilerini değerlendirerek, bilişsel modellerdeki bellek mekanizmalarının, özellikle de harici belleklerin rolü incelenmiştir. Deneyler, sinir ağlarının hiyerarşik yapılar ve uzun mesafe bağımlılıklarına odaklanarak, düzenli (regullar), context-free gramerler (CFG'ler) ve mildly context-sensitive gramerler (MCFG'ler) gibi çeşitli gramer türlerinde eğitilmesini içermektedir. Tezde yapılan karşılaştırmalı analiz, harici bellek yapıları olan NTM'lerin, düzenli tekrarlayan ağların aksine, kuralları öğrenerek CFG'leri eğitim verilerinin ötesinde öğrenip genelleyebildiğini göstermektedir. Ayrıca, meta analizle destekleyerek, bu tez, bazı istisnalar dışında, geliştirilmiş bellek ağlarının MCSG özelliklerine sahip gramerleri genelleyebildiğini göstermektedir. Bellek ağlarının bu kapasitesi, bu görevler için gerekli olabilecek yapısal önyargıları ve insan beynindeki olası sinirsel karşılıklarını anlamak amacıyla dilbilimsel ve sinirbilimsel çalışmalarla karşılaştırılmaktadır. Bu tez, harici bir bellekte açık temsillerin temsil edilmesi ve saklanabilmesinin, sinir ağlarında kural tabanlı sembolik işlemler için anahtar bir faktör olabileceğini ve bunun sinirbilim ve yapay zeka için önemli sonuçlar doğurabileceğini önermektedir.
Özet (Çeviri)
This thesis develops a cognitive computational framework for exploring memory networks as neurocomputational models of syntax and rule learning, with a particular focus on Neural Turing Machines (NTMs). It contrasts NTMs with recurrent neural networks such as long short-term memory (LSTM) and Legendre memory unit (LMU) architectures. By using artificial grammars to evaluate syntactic processing capabilities and specifically assessing the rule-learning and generalization abilities of these neural architectures, it studies the role of memory mechanisms in cognitive models, particularly the role of external memory. The experiments involve training neural networks on various types of grammar, including regular, context-free grammars (CFGs) and mildly context-sensitive grammars (MCFGs), with a focus on hierarchical structures and long-distance dependencies. Comparative analysis in the thesis shows that unlike regular recurrent networks, neural networks with external memory structures such as NTM were able to learn and generalize CFGs beyond training data by learning the rules. Supported also by meta-analysis, this thesis shows that augmented memory networks can generalize grammars with MCSG properties with a few exceptions. This capacity of the memory networks is compared with linguistic, and neuroscientific studies to understand the structural biases that might be required for these tasks and their potential neural correlates in the human brain. This thesis suggests that the ability to represent and store explicit representations in an external memory might be a key factor for rule-based symbolic operations on neural networks with implications for neuroscience and AI.
Benzer Tezler
- Multimodal video-based personality recognition using long short-term memory and convolutional neural networks
Çok kipli uzun kısa-süreli bellek ve evrişimli sinir ağları ile videoda kişilik tanıma
SÜLEYMAN ASLAN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. UĞUR GÜDÜKBAY
- Machine learning applications in control systems
Kontrol sistemlerinde makine öğrenim uygulamaları
DORUK EREN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ OĞUZHAN ÇİFDALÖZ
DOÇ. DR. ERDEM AKAGÜNDÜZ
- Örgütsel belleklerin öz oluşumu: Türkiye'de bir kamu kurumu görev ağları analizi
Emergence of organizational memories: A task network analysis of a Turkish public institution
BORA AKSU
Doktora
Türkçe
2017
Kamu YönetimiBaşkent Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. MEHMET ABDÜLKADİR VAROĞLU
- Low complexity efficient online learning algorithms using LSTM networks
UKSB ağları ile düşük karmaşıklığa sahip verimli çevrimiçi öğrenme algoritmaları
ALI HASSAN MIRZA
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- Memory biased random walk as an empirical approach to identifying community structures in social and biological networks
Sosyal ve biyolojik ağlardaki komünite yapılarının teşhisine ampirik bir yaklaşım olarak hafızalı rassal yürüyüş
MESUT YÜCEL
Doktora
İngilizce
2016
BiyomühendislikEge ÜniversitesiBiyomühendislik Ana Bilim Dalı
PROF. DR. MURAT ELİBOL
DOÇ. DR. URİ HERSHBERG