Online learning with recurrent neural networks
Yinelenen sinir ağları ile çevrimiçi öğrenim
- Tez No: 513599
- Danışmanlar: DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezde, Yinelenen Sinir A glar (YSA) ile çevrimi çi öğrenim problemini çal ışmaktayı z. Ayr ıntı lı olarak, ikinci b öl ümde, do ğrusal olmayan çevrimi çi ba ğlanı m problemini incelemekteyiz ve geli şmi ş bir YSA olan Uzun K ısa Soluklu Bellek (UKSB) a ğlar ı tabanlı özg ün ba ğlanı m yap ıları sunmaktayı z. Bu yap ılar ı e ğitmek i çin, olduk ça verimli ve etkili Par çac ık S üzme (PS) tabanl ı g üncellemeler sunmaktay ız. Buna ek olarak, Olası lı ksal Gradyan İni şi (OGİ) ve Genişletilmi ş Kalman S üzgeci (GKS) tabanlı g üncellemeler sunmaktayız. PS tabanlı algoritmamı z Ortalama Karesel Hata (OKH) performans ı bak ım ından en iyi parametre tahminine yak ınsamayı garanti etmektedir. Ü ç üncü b öl ümde, her bir d üğüm ün çevrimi çi ba ğlan ım i çin UKSB yap ısı nı kulland ı ğı da ğı nı k a ğlarda UKSB yap ısı nı n e ğitimini incelemekteyiz. Öncelikle, her bir d üğüm i çin genel bir UKSB yapı sı sa ğlamaktayı z. Bu yap ıyı e ğitmek i çin olduk ça verimli ve etkili olan Da ğı nı k PS (DPS) tabanlı e ğitim algoritmas ı sunmaktayı z. Buna ek olarak, Da ğı nı k GKS (DGKS) tabanlı e ğitim algoritmas ı sunmaktay ız. Burada, DPS e ğitim algoritmamı z OKH performans ı bakı m ından en iyi merkezi UKSB parametrelerine yak ınsamayı garanti etmektedir. D örd üncü b öl ümde, de ği şken uzunluklu veri ba ğlan ımı nı çevrimi çi bir d üzende incelemekteyiz ve enerji tasarruflu bir UKSB yap ıs ı sunmaktayı z. Bu yapı nı n karma şıklı ğı nı d ü şürebilmek i çin öncelikle çarp ım işlemlerini enerji tasarruflu bir işlem ile de ği ştirmekteyiz. Daha sonra a ğı rlı k matrislerine faktorizasyon uygulayarak toplam parametre say ıs ını ciddi bir miktarda azaltmaktayı z. Bundan sonra ise çevrimi çi e ğitim algoritmaları sunmaktayı z. Bir tak ım deneyler arac ıl ı ğı yla, algoritmaları mı z tarafı ndan en geli şkin metotlara g öre elde edilen performans kazan çları nı ve karma şı kl ık eksiltmelerini g östermekteyiz.
Özet (Çeviri)
In this thesis, we study online learning with Recurrent Neural Networks (RNNs). Particularly, in Chapter 2, we investigate online nonlinear regression and introduce novel regression structures based on the Long Short Term Memory (LSTM) network, i.e., is an advanced RNN architecture. To train these novel LSTM based structures, we introduce highly efficient and e ffective Particle Filtering (PF) based updates. We also provide Stochastic Gradient Descent (SGD) and Extended Kalman Filter (EKF) based updates. Our PF based training method guarantees convergence to the optimal parameter estimation in the Mean Square Error (MSE) sense. In Chapter 3, we investigate online training of LSTM architectures in a distributed network of nodes, where each node employs an LSTM based structure for online regression. We first provide a generic LSTM based regression structure for each node. In order to train this structure, we introduce a highly e ffective and efficient Distributed PF (DPF) based training algorithm. We also introduce a Distributed EKF (DEKF) based training algorithm. Here, our DPF based training algorithm guarantees convergence to the performance of the optimal centralized LSTM parameters in the MSE sense. In Chapter 4, we investigate variable length data regression in an online setting and introduce an energy efficient regression structure build on LSTM networks. To reduce the complexity of this structure, we first replace the regular multiplication operations with an energy e cient operator. We then apply factorizations to the weight matrices so that the total number of parameters to be trained is signi ficantly reduced. We then introduce online training algorithms. Through a set of experiments, we illustrate signi cant performance gains and complexity reductions achieved by the introduced algorithms with respect to the state of the art methods.
Benzer Tezler
- Efficient online training algorithms for recurrent neural networks
Yineliyici sinir ağları için verimli çevrimiçi eğitim algoritmaları
NURİ MERT VURAL
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SÜLEYMAN SERDAR KOZAT
- Purchase prediction and item prediction with RNN using different user-item interactions
Farklı kullanıcı-ürün etkileşim türlerini kullanarak özyineli sinir ağları ile ürün ve satış tahminlemesi
FULYA ÇELEBİ SARIOĞLU
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF YASLAN
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- RS-DSINet: Tavsiye sistemleri derecelendirme problemi için geliştirilmiş yeni bir derin öğrenme modeli
RS-DSINet: A new deep learning model developed for the rating problem of recommendation systems
VEYSEL TÜRK
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHarran ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM BERKAN AYDİLEK
- Anomaly detection in ınternet of medical things using deep learning
Anomaly detect ionin internet of medical things using deep learning
AYŞE BETÜL BÜKEN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN