Efficient online training algorithms for recurrent neural networks
Yineliyici sinir ağları için verimli çevrimiçi eğitim algoritmaları
- Tez No: 657604
- Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 86
Özet
Yineleyici sinir ağları doğrusal olmayan zamansal bağıntılarını öğrenebilmeleri nedeniyle çevrimiçi öğrenme uygulamalarında yaygın olarak kullanılmaktadır. Uzun-Kısa-Soluklu Bellek (UKSB) mimarisi uzun süreçli bağıntıları gradyan patlaması yaşamadan öğrenebildiği için uygulamada en sık tercih edilen yinelemeli ağ yapılarından biridir. Ancak, UKSB'ler bu performans kazanımlarını oldukça yüksek sayıda parametre ile sağlamaktadır. Bu durum UKSB eğitimini veri ve hesaplama gereksinimleri açısından oldukça pahalı bir işleme dönüştürmektedir. Tezimizde UKSB eğitiminin hesaplama zorluklarını ele alıyoruz. UKSB'lerin çevrimiçi regresyon performansına daha düşük hesap yüküyle ulaşan iki adet eğitim algoritması tanıtıyoruz. Tanıttığımız algoritmalar tamamiyle çevrimiçi olup, verinin sınırlı bir dizi olması dışında veriye dair hiçbir ön kabul yapmamaktadır. Tezimizin devamında tanıttığımız algoritmaların teorik garantilerini ve asimptotik yakınsama özelliklerini tartışacağız. Ayrıca, gerçek ve sentetik veriler üzreinde yaptığımız çok sayıda deneyle algoritmalarımızın literatürdeki en son gelişmeleri yansıtan algoritmalara göre performans üstünlüğünü göstereceğiz.
Özet (Çeviri)
Recurrent Neural Networks (RNNs) are widely used for online regression due to their ability to learn nonlinear temporal dependencies. As an RNN model, Long-Short-Term-Memory Networks (LSTMs) are commonly preferred in practice, since these networks are capable of learning long-term dependencies while avoiding the exploding gradient problem. On the other hand, the performance improvement of LSTMs usually comes with the price of their large parameter size, which makes their training significantly demanding in terms of computational and data requirements. In this thesis, we address the computational challenges of LSTM training. We introduce two training algorithms, designed for obtaining the online regression performance of LSTMs with less computational requirements than the state-of-the-art. The introduced algorithms are truly online, i.e., they do not assume any underlying data generating process and future information, except that the dataset is bounded. We discuss theoretical guarantees of the introduced algorithms, along with their asymptotic convergence behavior. Finally, we demonstrate their performance through extensive numerical studies on real and synthetic datasets, and show that they achieve the regression performance of LSTMs with significantly shorter training times.
Benzer Tezler
- Online learning with recurrent neural networks
Yinelenen sinir ağları ile çevrimiçi öğrenim
TOLGA ERGEN
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Development of operation and maintenance strategies for offshore wind industry based on big data management
Büyük veri yönetimi ile açık deniz rüzgar endüstrisinde işletme ve bakım stratejilerinin geliştirilmesi
UWE LUETZEN
Doktora
İngilizce
2024
Enerjiİstanbul Teknik ÜniversitesiGemi ve Deniz Teknoloji Mühendisliği Ana Bilim Dalı
PROF. DR. SERDAR BEJİ
- Development of efficient algorithms for flicker, harmonics and interharmonics estimations and power quality event classification specially designed for highly time-varying loads of power systems
Güç sistemlerinin zamanda hızlı değişen yükleri için özel tasarlanmış kırpışma, harmonik ve araharmonik kestirimi ve güç kalitesi olay sınıflandırması için verimli algoritmaların geliştirilmesi
EBRAHIM BALOUJI
Doktora
İngilizce
2019
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZGÜL SALOR DURNA
- Online learning under adverse settings
Karşıt koşullar altında çevrimiçi öğrenme
HÜSEYİN ÖZKAN
Doktora
İngilizce
2015
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN SERDAR KOZAT