Geri Dön

Novel gating mechanisms for temporal convolutional networks

Zamansal evrişimli sinirsel ağlar için özgün bir geçit mekanizması

  1. Tez No: 686250
  2. Yazar: FATİH ASLAN
  3. Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 73

Özet

Sıralı modelleme problemini araştırıyoruz ve zamansal evrişimli ağ mimarilerine yeni bir geçit mekanizması sunuyoruz. Özellikle, özenle uyarlanmış geçit mekanizmalarına sahip Geçitli Zamansal Evrişimsel Ağ mimarisini öneriyoruz. Uygulamamızda, gradyanların akış şeklini değiştiriyoruz ve kaybolan veya patlayan gradyan ve ölü ReLU problemlerinden kaçınıyoruz. Önerilen GTCN mimarisi, düzensiz olarak örneklenen dizileri de modelleyebilir. Deneylerimizde, temel GTCN mimarisinin, uzun vadeli bağımlılıkların ve düzensiz örnekleme aralıklarının modellenmesini gerektiren çeşitli kıyaslama görevlerinde genel TCN mimarilerinden üstün olduğunu gösteriyoruz. Ayrıca, temel yapıyı kullanarak sıralı MNIST ve sıralı CIFAR10 kıyaslamalarında en gelişmiş sonuçları elde ediyoruz.

Özet (Çeviri)

We investigate the sequential modeling problem and introduce a novel gating mechanism into the temporal convolutional network architectures. In particular, we propose the Gated Temporal Convolutional Network architecture with elaborately tailored gating mechanisms. In our implementation, we alter the way in which the gradients flow and avoid the vanishing or exploding gradient and the dead ReLU problems. The proposed GTCN architecture is able to model the irregularly sampled sequences as well. In our experiments, we show that the basic GTCN architecture is superior to the generic TCN architectures in various benchmark tasks requiring the modeling of long-term dependencies and irregular sampling intervals. Moreover, we achieve the state-of-the-art results on the permuted sequential MNIST and the sequential CIFAR10 benchmarks with the basic structure.

Benzer Tezler

  1. Behavioral and neural investigation on the effect of spatial attention on surround suppression

    Uzamsal dikkatin çevresel baskılamaya etkisinin davranışsal ve nöral incelenmesi

    MERVE KINIKLIOĞLU

    Doktora

    İngilizce

    İngilizce

    2023

    Psikolojiİhsan Doğramacı Bilkent Üniversitesi

    Nörobilim Ana Bilim Dalı

    PROF. DR. HÜSEYİN BOYACI

  2. Bupropiyon HCI'in nikotin bağımlısı hastalarda bilişsel fonksiyonlar üzerine etkilerinin olaya ilişkin beyin potansiyelleri ile değerlendirilmesi

    Evaluation of bupropion HCI's effects on the cognitive functions of nicotine dependent patients via event-related brain potentials

    ÖZGE ERDEM

    Yüksek Lisans

    Türkçe

    Türkçe

    2003

    Eczacılık ve Farmakolojiİstanbul Üniversitesi

    Farmakoloji Ana Bilim Dalı

    PROF.DR. OSMAN ÖZDEMİR

    PROF.DR. TAMER DEMİRALP

  3. An analysis of voters' perception of visual advertisements with respect to neuromarketing approach: Eye-tracking study

    Nöropazarlama yaklaşımıyla seçmenlerin görsel reklam algılarının analizi: Göz izleme çalışması

    AHMET ALİOĞLU

    Doktora

    İngilizce

    İngilizce

    2018

    İşletmeİstanbul Teknik Üniversitesi

    İşletme (İngilizce) Ana Bilim Dalı

    PROF. DR. HURİYE ŞEBNEM BURNAZ

  4. Agmatinin işitsel sistemdeki etkileri

    Effects of agmatine on auditory system

    ÖZLEM SAATCİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Kulak Burun ve BoğazÜsküdar Üniversitesi

    Nörobilim Ana Bilim Dalı

    PROF. DR. İSMAİL TAYFUN UZBAY

  5. Design, fabrication and characterization of surface plasmon resonance based MEMS displacement sensors

    Yüzey plazmon rezonansına dayalı MEMS yerdeğiştirme algılayıcılarının tasarım, üretim ve karakterizasyonu

    HASAN GÜNER

    Yüksek Lisans

    İngilizce

    İngilizce

    2009

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Malzeme Bilimi ve Nanoteknoloji Ana Bilim Dalı

    PROF. DR. SALİM ÇIRACI

    YRD. DOÇ. DR. AYKUTLU DANA