Novel gating mechanisms for temporal convolutional networks
Zamansal evrişimli sinirsel ağlar için özgün bir geçit mekanizması
- Tez No: 686250
- Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 73
Özet
Sıralı modelleme problemini araştırıyoruz ve zamansal evrişimli ağ mimarilerine yeni bir geçit mekanizması sunuyoruz. Özellikle, özenle uyarlanmış geçit mekanizmalarına sahip Geçitli Zamansal Evrişimsel Ağ mimarisini öneriyoruz. Uygulamamızda, gradyanların akış şeklini değiştiriyoruz ve kaybolan veya patlayan gradyan ve ölü ReLU problemlerinden kaçınıyoruz. Önerilen GTCN mimarisi, düzensiz olarak örneklenen dizileri de modelleyebilir. Deneylerimizde, temel GTCN mimarisinin, uzun vadeli bağımlılıkların ve düzensiz örnekleme aralıklarının modellenmesini gerektiren çeşitli kıyaslama görevlerinde genel TCN mimarilerinden üstün olduğunu gösteriyoruz. Ayrıca, temel yapıyı kullanarak sıralı MNIST ve sıralı CIFAR10 kıyaslamalarında en gelişmiş sonuçları elde ediyoruz.
Özet (Çeviri)
We investigate the sequential modeling problem and introduce a novel gating mechanism into the temporal convolutional network architectures. In particular, we propose the Gated Temporal Convolutional Network architecture with elaborately tailored gating mechanisms. In our implementation, we alter the way in which the gradients flow and avoid the vanishing or exploding gradient and the dead ReLU problems. The proposed GTCN architecture is able to model the irregularly sampled sequences as well. In our experiments, we show that the basic GTCN architecture is superior to the generic TCN architectures in various benchmark tasks requiring the modeling of long-term dependencies and irregular sampling intervals. Moreover, we achieve the state-of-the-art results on the permuted sequential MNIST and the sequential CIFAR10 benchmarks with the basic structure.
Benzer Tezler
- Behavioral and neural investigation on the effect of spatial attention on surround suppression
Uzamsal dikkatin çevresel baskılamaya etkisinin davranışsal ve nöral incelenmesi
MERVE KINIKLIOĞLU
Doktora
İngilizce
2023
Psikolojiİhsan Doğramacı Bilkent ÜniversitesiNörobilim Ana Bilim Dalı
PROF. DR. HÜSEYİN BOYACI
- Bupropiyon HCI'in nikotin bağımlısı hastalarda bilişsel fonksiyonlar üzerine etkilerinin olaya ilişkin beyin potansiyelleri ile değerlendirilmesi
Evaluation of bupropion HCI's effects on the cognitive functions of nicotine dependent patients via event-related brain potentials
ÖZGE ERDEM
Yüksek Lisans
Türkçe
2003
Eczacılık ve Farmakolojiİstanbul ÜniversitesiFarmakoloji Ana Bilim Dalı
PROF.DR. OSMAN ÖZDEMİR
PROF.DR. TAMER DEMİRALP
- An analysis of voters' perception of visual advertisements with respect to neuromarketing approach: Eye-tracking study
Nöropazarlama yaklaşımıyla seçmenlerin görsel reklam algılarının analizi: Göz izleme çalışması
AHMET ALİOĞLU
Doktora
İngilizce
2018
İşletmeİstanbul Teknik Üniversitesiİşletme (İngilizce) Ana Bilim Dalı
PROF. DR. HURİYE ŞEBNEM BURNAZ
- Agmatinin işitsel sistemdeki etkileri
Effects of agmatine on auditory system
ÖZLEM SAATCİ
Yüksek Lisans
Türkçe
2019
Kulak Burun ve BoğazÜsküdar ÜniversitesiNörobilim Ana Bilim Dalı
PROF. DR. İSMAİL TAYFUN UZBAY
- Design, fabrication and characterization of surface plasmon resonance based MEMS displacement sensors
Yüzey plazmon rezonansına dayalı MEMS yerdeğiştirme algılayıcılarının tasarım, üretim ve karakterizasyonu
HASAN GÜNER
Yüksek Lisans
İngilizce
2009
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiMalzeme Bilimi ve Nanoteknoloji Ana Bilim Dalı
PROF. DR. SALİM ÇIRACI
YRD. DOÇ. DR. AYKUTLU DANA