Determinant maximization criterion as a normative principle for biologically plausible credit assignment
Biyolojik olarak makul kredi tahsisi için normatif bir ilke olarak determinant maksimizasyon kriteri
- Tez No: 835247
- Danışmanlar: PROF. DR. ALPER TUNGA ERDOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 216
Özet
Determinant maksimizasyon (Det-Max) kriterinin, hem denetimsiz hem de denetimli yöntemler için biyolojik olarak makul öğrenme algoritmaları oluşturmak için normatif bir ilke olarak ortaya çıktığını gösteriyoruz. Determinant maksimizasyonun önemi, yapılandırılmış matris çarpanlarına ayırma yöntemlerindeki merkezi rolünde yatmaktadır ve girdi verilerinden gizli bilgilerin çıkarılmasını sağlar. Bu kriteri, çevrimiçi bir ortamda belirli sorunları ele alan ve yerel öğrenme güncellemeleriyle sinir ağlarının geliştirilmesine yol açan ilkeli optimizasyon problemlerini formüle etmek için uyguluyoruz. Başlıca hedeflerimiz, sinyal işleme ve makine öğrenimindeki iki merkezi sorunu çözmeyi içerir: kör kaynak ayırma ve denetimli öğrenme. Kör kaynak ayrımı için, determinant maksimizasyon kriterini içeren ve kaynak vektörlerin etki alanlarında yeterince dağıldığını varsayan, biyolojik olarak makul iki normatif yöntem öneriyoruz. İlk yöntem, iki ağırlıklı benzerlik eşleştirme kısıtlamasından oluşan bir kaskad kullanır. Her kısıtlama, çıktı vektörleri ve karşılık gelen girdi vektörleri arasındaki genelleştirilmiş iç çarpımları eşitlemeyi amaçlar. Ağırlıklı benzerlik eşleşmesine dayalı bir optimizasyon probleminin, determinant maksimizasyon optimizasyonu ile aynı global optimuma ulaştığını ve mükemmel bir ayrımla sonuçlandığını kanıtladık. Karşılık gelen çevrimiçi optimizasyon, parçalı lineer aktivasyonlar ve yerel Hebbian öğrenme ile iki katmanlı bir sinir ağı tarafından gerçekleş-\\tirilebilir. Önerdiğimiz ikinci yöntem, girdi vektörlerinden çıktı vektörlerine karşılıklı korelatif bilgiyi maksimize etmeyi içerir. Bu yaklaşım, girdi ve çıktıların yalnızca ikinci dereceden istatistiklerine dayanır ve hesaplama açısından pahalı olan yüksek dereceli istatistiklere veya ortak olasılık yoğunluk fonksiyonu tahminlerine olan ihtiyacı ortadan kaldırır. Bu yeni çerçeve, yapılandırılmış gizli temsiller elde etmeyi amaçlayan çeşitli denetimsiz veri ayrıştırma yöntemleri için biyolojik olarak makul sinir ağları geliştirmeye yönelik birleşik bir yaklaşım olarak hizmet eder. Ayrıca, etiketli verilere uydurmak için korelatif bilgi maksimizasyon hedefini ortalama karesel hatayla birleştirmenin, denetimli biyolojik sinir ağlarında sinyal yayılımını açıklamak için alternatif bir normatif yaklaşım sağladığını gösteriyoruz. Bu yeni hedefin optimizasyonu, dendritik işleme ve yanal inhibitör nöronlara sahip çok bölmeli piramidal nöronların biyolojik olarak gerçekçi ağlarını taklit eden bir sinir ağı yapısı kurar. Daha da önemlisi, yaklaşımımız, geleneksel sinir ağlarını biyolojik olarak makul bir bakış açısıyla eğitmenin önemli bir eleştirisi olan geri yayılım algoritmasıyla ilişkili ağırlık taşıma problemini doğal olarak çözmektedir. Bunu, iki alternatif korelatif bilgi ölçüsü biçiminden yararlanarak başarıyoruz. Kısaca, bu tez, çeşitli görevler için biyolojik olarak makul sinir ağları kurmak için birkaç normatif yöntem önermektedir. Son yaklaşımlara kıyasla önerilen her yöntemin etkinliğini göstermek için çeşitli sayısal deneyler sağlıyoruz.
Özet (Çeviri)
We demonstrate that the determinant maximization (Det-Max) criterion arises as a normative principle to construct biologically-plausible learning algorithms for both unsupervised and supervised methods. The importance of determinant maximization lies in its central role within structured matrix factorization frameworks, enabling the extraction of hidden information from input data. We apply this criterion to formulate principled optimization problems that address specific issues in an online setting, leading to the development of neural networks with local learning updates. Our primary objectives involve solving two central problems in signal processing and machine learning: blind source separation and supervised learning. For blind source separation, we propose two normative biologically-plausible methods that incorporate the determinant maximization criterion and assume the source vectors are sufficiently scattered in their domains. The first method employs a cascade of two weighted similarity matching constraints. Each constraint aims to equalize the generalized inner products among output vectors and their corresponding input vectors. We prove that a batched optimization problem based on weighted similarity matching achieves the same global optimum as the determinant maximization optimization, resulting in perfect separation. The corresponding online optimization can be realized by a two-layered neural network with piece-wise linear activations and local Hebbian learning. The second method we propose involves maximizing correlative mutual information from input vectors to output vectors. This approach relies solely on second-order statistics of the inputs and outputs, eliminating the need for computationally expensive higher-order statistics or joint probability density function estimates. This novel framework serves as a unified approach for developing biologically-plausible neural networks for various unsupervised data decomposition methods, aiming to obtain structured latent representations. Furthermore, we demonstrate that augmenting the correlative information maximization objective with mean squared error for fitting to labeled data provides an alternative normative approach to explain signal propagation in supervised biological neural networks. The coordinate descent optimization of this novel objective establishes a neural network structure that mimics biologically realistic networks of multi-compartment pyramidal neurons with dendritic processing and lateral inhibitory neurons. Importantly, our approach naturally resolves the weight transport problem associated with the backpropagation algorithm, which has been a significant critique of training conventional neural networks from a biologically-plausible perspective. We achieve this by leveraging two alternative forms of correlative information measures. In brief, this thesis proposes several normative methods for establishing biologically-plausible neural networks for various tasks. We provide diverse numerical experiments to showcase the effectiveness of each proposed method in comparison to recent approaches.
Benzer Tezler
- Self-supervised learning with an information maximization criterion
Bilgi maksimizasyon kriteriyle kendi kendine denetimli öğrenme
SERDAR ÖZSOY
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ALPER TUNGA ERDOĞAN
- Türkiye'de eğitimin kalitesinin maksimize ve giderlerinin minimize edilmesi üzerine bir model yaklaşımı
A model approach on maximization of education quality and minimization of expenses in Turkey
MUSTAFA EROL
- Türk bankacılık sisteminde varlık yönetim şirketlerinin rolü ve bankaların kredi tayınlamasına etkisi
The role of asset management companies in the Turkish banking system and the impact on credit rationing of banks
MUSTAFA ÇAĞRI DEMİRCİ
Yüksek Lisans
Türkçe
2022
EkonomiAnkara Hacı Bayram Veli Üniversitesiİktisat Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CENAP MENGÜ TUNÇAY
- Asymmetric volatility modelling in the Istanbul stock exchange
İstanbul borsası'nda asimetrik volatilite modellemesi
GÜLER ERTAŞ
- Yeni parasalcı değişim ekonomisinin evrimsel dinamikleri: Oyuncu-temelli modelleme
The evolutionary dynamics of a new monetarist exchange economy: An agent-based modelling
ZEYNEP YENER GÖK