Evolutionary adaptation and dopamine modulated learning in spiking neural networks
Atımlı sinir ağlarında evrimsel adaptasyon ve dopamin modülasyonlu öğrenme
- Tez No: 674932
- Danışmanlar: YRD. DOÇ. DR. SEYMUR JAHANGIROV
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Malzeme Bilimi ve Nanoteknoloji Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin Öğrenmenin son on yıldaki yükselişi ile birlikte, görüntü sınıflandırma, makine çevirisi ve metin oluşturma gibi on yıllardır çalışılan problemlere insanüstü düzeyde çözümler bulundu. Derin Öğrenmenin Pekiştirmeli Öğrenme gibi farklı paradigmalarla birleştirilmesi ise Go oyununu çözme, yaklaşık elli yıldır çözülemeyen üç boyutlu protein katlamayı çözme ve üç boyutlu manzara rekonstrüksiyonu oluşturma gibi daha etkileyici sonuçlara sebep oldu. Ancak Derin Öğrenme sadece çok büyük miktarlarda veriye ihtiyaç duymakla kalmaz aynı zamanda kullandığı geri yayılım gibi öğrenme algoritmaları da biyolojik olarak anlamlı olmaktan uzaktır. Öte yandan, Atımlı Sinir Ağları biyolojik nöronları neredeyse birebir taklit edebilen dinamik sistemler olduğundan; araştırmacılara Sinirbilimden metod ve fikirleri doğrudan simülasyonlara uygulama şansı tanımaktadır. Bu çalışmada, Atımlı Sinir Ağları üzerinde; XOR, direk dengeleme ve yemek yakalama gibi problemleri çözebilen sinir ağları eğitmek için iyi bilinen bir genetik algoritma olan Artırılan Topolojilerle Nöral Evrim algoritmasını kullandık. Daha sonra, Atım Zamanına Bağlı Plastisite algoritmasına dopamin modülasyonu uygulamanın yiyecekleri yakalarken faydalı veya zararlı olanları seçmek gibi daha zor problemleri çözmede etkin olduğunu gösterdik. Burada çözülen problemin can alıcı noktası yemeklerin fenotipleri değişmezken faydalı veya zararlı olmaları özelliklerinin değişebilmesidir çünkü bu, sinir ağlarının sadece genetik olarak yemek yeme arzularının olmasını değil ortamda keşif yaparak faydalı olan besini bulmalarını gerektirmektedir. Sonuç olarak, Atımlı Sinir Ağlarının Artırılan Topolojilerle Nöral Evrim ile eğitildiklerinde doğrusal olmayan problemleri çözebildiklerini ancak adaptasyon ve keşif gerektiren problemlerde dopamin modülasyonu olmadan yetersiz olduklarını gösterdik.
Özet (Çeviri)
Amidst the rise of Deep Learning (DL) in the last ten years, many decades withstanding problems such as image classification, machine translation and text generation received superhuman level solutions. Combining DL with other paradigms such as Reinforcement Learning (RL) led to even more astonishing achievements such as solving the game of Go, 3D Protein Folding and scene reconstruction. However, not only Artificial Neural Networks (ANNs) used in DL require a massive amount of data as the problems get complicated (curse of dimensionality) but also the learning algorithms used in ANNs such as backpropagation are biologically not plausible. On the other hand, Spiking Neural Networks (SNNs) are computationally powerful nonlinear dynamical systems that are biologically more credible. Thus, approaching problems using SNNs promises the possibility of transferring methods and discoveries from Neuroscience. In this work, we utilized a well known genetic algorithm called NeuroEvolution of Augmenting Topologies (NEAT) on SNNs to train agents which can solve various nonlinear problems such as XOR, pole balancing and food chasing. Afterwards, we applied dopamine modulation on Spike-Timing Dependent Plasticity (STDP) and attested that dopamine modulated STDP can indeed solve harder problems such as discovering good and bad nutrition types while trying to catch and consume food. The gist of the problem is that the same food can be beneficial in one episode/trial and detrimental in another one. As a result, we have shown that NEAT applied to SNNs can solve various nonlinear tasks; however, it cannot solve problems where in-life adaptation and/or discovery is required.
Benzer Tezler
- Kırgızca bir hikaye: Astra Gülü (metin-çeviri-dizin)
Başlık çevirisi yok
ÜLKÜ ÇELİK
Yüksek Lisans
Türkçe
1988
Türk Dili ve EdebiyatıHacettepe ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. TALAT TEKİN
- Dynamics of an alternative drama: A retrospective analysis of Samuel Beckett's and Harold Pinter's plays
Başlık çevirisi yok
FATMA ERSOY (KARAHASAN)
- Prototyping and evolutionary system design techniques
Başlık çevirisi yok
M.TANSEL ERSAVAŞ
Yüksek Lisans
İngilizce
1989
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiPROF. DR. ZİYA AKTAŞ