Online learning with recurrent neural networks
Yinelenen sinir ağları ile çevrimiçi öğrenim
- Tez No: 513599
- Danışmanlar: DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 99
Özet
Bu tezde, Yinelenen Sinir Aglar (YSA) ile çevrimiçi öğrenim problemini çalışmaktayız. Ayrıntılı olarak, ikinci bölümde, doğrusal olmayan çevrimiçi bağlanım problemini incelemekteyiz ve gelişmiş bir YSA olan Uzun Kısa Soluklu Bellek (UKSB) ağları tabanlı özgün bağlanım yapıları sunmaktayız. Bu yapıları eğitmek için, oldukça verimli ve etkili Parçacık Süzme (PS) tabanlı güncellemeler sunmaktayız. Buna ek olarak, Olasılıksal Gradyan İnişi (OGİ) ve Genişletilmiş Kalman Süzgeci (GKS) tabanlı güncellemeler sunmaktayız. PS tabanlı algoritmamız Ortalama Karesel Hata (OKH) performansı bakımından en iyi parametre tahminine yakınsamayı garanti etmektedir. Üçüncü bölümde, her bir düğümün çevrimiçi bağlanım için UKSB yapısını kullandığı dağınık ağlarda UKSB yapısının eğitimini incelemekteyiz. Öncelikle, her bir düğüm için genel bir UKSB yapısı sağlamaktayız. Bu yapıyı eğitmek için oldukça verimli ve etkili olan Dağınık PS (DPS) tabanlı eğitim algoritması sunmaktayız. Buna ek olarak, Dağınık GKS (DGKS) tabanlı eğitim algoritması sunmaktayız. Burada, DPS eğitim algoritmamız OKH performansı bakımından en iyi merkezi UKSB parametrelerine yakınsamayı garanti etmektedir. Dördüncü bölümde, değişken uzunluklu veri bağlanımını çevrimiçi bir düzende incelemekteyiz ve enerji tasarruflu bir UKSB yapısı sunmaktayız. Bu yapının karmaşıklığını düşürebilmek için öncelikle çarpım işlemlerini enerji tasarruflu bir işlem ile değiştirmekteyiz. Daha sonra ağırlık matrislerine faktorizasyon uygulayarak toplam parametre sayısını ciddi bir miktarda azaltmaktayız. Bundan sonra ise çevrimiçi eğitim algoritmaları sunmaktayız. Bir takım deneyler aracılığıyla, algoritmalarımız tarafından en gelişkin metotlara göre elde edilen performans kazançlarını ve karmaşıklık eksiltmelerini göstermekteyiz.
Özet (Çeviri)
In this thesis, we study online learning with Recurrent Neural Networks (RNNs). Particularly, in Chapter 2, we investigate online nonlinear regression and introduce novel regression structures based on the Long Short Term Memory (LSTM) network, i.e., is an advanced RNN architecture. To train these novel LSTM based structures, we introduce highly efficient and e ffective Particle Filtering (PF) based updates. We also provide Stochastic Gradient Descent (SGD) and Extended Kalman Filter (EKF) based updates. Our PF based training method guarantees convergence to the optimal parameter estimation in the Mean Square Error (MSE) sense. In Chapter 3, we investigate online training of LSTM architectures in a distributed network of nodes, where each node employs an LSTM based structure for online regression. We first provide a generic LSTM based regression structure for each node. In order to train this structure, we introduce a highly e ffective and efficient Distributed PF (DPF) based training algorithm. We also introduce a Distributed EKF (DEKF) based training algorithm. Here, our DPF based training algorithm guarantees convergence to the performance of the optimal centralized LSTM parameters in the MSE sense. In Chapter 4, we investigate variable length data regression in an online setting and introduce an energy efficient regression structure build on LSTM networks. To reduce the complexity of this structure, we first replace the regular multiplication operations with an energy ecient operator. We then apply factorizations to the weight matrices so that the total number of parameters to be trained is signi ficantly reduced. We then introduce online training algorithms. Through a set of experiments, we illustrate signi cant performance gains and complexity reductions achieved by the introduced algorithms with respect to the state of the art methods.
Benzer Tezler
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Development of operation and maintenance strategies for offshore wind industry based on big data management
Büyük veri yönetimi ile açık deniz rüzgar endüstrisinde işletme ve bakım stratejilerinin geliştirilmesi
UWE LUETZEN
Doktora
İngilizce
2024
Enerjiİstanbul Teknik ÜniversitesiGemi ve Deniz Teknoloji Mühendisliği Ana Bilim Dalı
PROF. DR. SERDAR BEJİ
- Efficient online training algorithms for recurrent neural networks
Yineliyici sinir ağları için verimli çevrimiçi eğitim algoritmaları
NURİ MERT VURAL
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SÜLEYMAN SERDAR KOZAT
- Text categorization using syllables and recurrent neural networks
Tekrarlamalı sinir ağları ve heceleri kullanarak metin sınıflandırma
ERSİN YAR
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- RS-DSINet: Tavsiye sistemleri derecelendirme problemi için geliştirilmiş yeni bir derin öğrenme modeli
RS-DSINet: A new deep learning model developed for the rating problem of recommendation systems
VEYSEL TÜRK
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHarran ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM BERKAN AYDİLEK