Geri Dön

End-to-end hybrid architectures for effective sequential data prediction

Etkili ardışık veri tahmini için uçtan uca melez mimariler

  1. Tez No: 829329
  2. Yazar: MUSTAFA ENES AYDIN
  3. Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 75

Özet

Çevrimiçi öğrenim ile doğrusal olmayan tahminlemeyi çalıştığımız bu tezde, iki adet etkili melez öğrenme metodu sunmaktayız. Bu metotlar, uçtan uca mimariler olup etkili bir şekilde geleneksel algoritmaların zaaflarından olan ihtisasa ve elle ayarlamaya dayalı öznitelik ve model seçimini ortadan kaldırmaktadır. Ayrıntılı olarak, ilk modelimizde gelişmiş bir yinelemeli yapay sinir ağı (Uzun-Kısa-Soluklu Bellek) kullanarak sıralı ham veriden öznitelik özümlemesini otomatik olarak gerçekleştirirken, yumuşak (türevlenebilir) gradyan destekli karar ağaçlarıyla nihai tahmini etkili bir şekilde sağlamaktayız. Bu iki taban modelin birbirine bağlanması uçtan uca olup tüm mimari olasılıksal gradyan inişi (OGİ) ile ortaklaşa eğitilmektedir. İkinci modelimizde ise yine yinelemeli yapıları (UKSB) kullanarak ham veriden öznitelik çıkarımını özedimli hale getirirken, yanına zaman serileri için özel olarak tasarlanmış geleneksel bir model olan harici değişkenli ve tümlevli mevsimsel otoregresif hareketli ortalamalar modelini koyarak ardıl verilere has mevsimsellik gibi çetrefilliklere daha etkili bir şekilde hitap etmekteyiz. Bu iki modelin çalışması yine ayrışık olmayıp tüm mimariyi tek bir durum uzayında toplayıp parçacık süzme (PS) tekniği ile eğitimini gerçekleştirmekteyiz. Sunduğumuz her iki melez mimari de jenerik olup istenirse UKSB yerine, örneğin, geçitli yinelemeli ünite (GYÜ) gibi modeller kullanılabileceği gibi, diğer bileşenler için de herhangi bir türevlenebilir makine öğrenmesi modeli ve durum uzayı temsiline sahip bir geleneksel zaman serisi modeli de kullanılabilmektedir. Ortaya koyduğumuz mimarilerin öğrenme davranışlarını yapay veri setleri ile gösterirken, hem diğer geleneksel metotlara hem de ayrışık hallerine kıyasla elde ettikleri kaydadeğer performans artışlarını da çeşitli gerçek hayat verileri ile sunuyoruz; bu verilerle aynı zamanda modellerin jenerikliğini de göstermekteyiz. Ayriyeten, ortaya konulan modellerin kaynak kodlarını da açık bir şekilde paylaşmaktayız.

Özet (Çeviri)

We investigate nonlinear prediction in an online setting and introduce two hybrid models that effectively mitigate, via end-to-end architectures, the need for hand-designed features and manual model selection issues of conventional nonlinear prediction/regression methods. Particularly, we first use an enhanced recurrent neural network (LSTM) to extract features from sequential signals, while preserving the state information, i.e., the history, and soft gradient boosted decision trees (sGBDT) to produce the final output. The connection is in an end-to-end fashion and we jointly optimize the whole architecture using stochastic gradient descent. Secondly, we again use recursive structures (LSTM) for automatic feature extraction out of raw data but accompany it with a traditional linear time series model (SARIMAX) to deal with the intricacies of the sequential data, e.g., seasonality. The unification of the models is again in a joint manner; it is through a single state space and we optimize the entire architecture using particle filtering. The proposed frameworks are generic so that one can use other recurrent architectures, e.g., GRUs, and differentiable machine learning algorithms as well as time series models that have state space representations in lieu of the specific models presented. We demonstrate the learning behavior of the models on synthetic data and the significant performance improvements over the conventional methods and the disjoint counterparts over various real life datasets, with which we also show the generic nature of the frameworks. Furthermore, we openly share the source code of the proposed methods to facilitate further research.

Benzer Tezler

  1. Architecture of constraints: A mass customization oriented approach for housing design

    Kısıtlarla tanımlanan mimarlık: Kitlesel özelleştirme odaklı konut tasarımı

    BENGİSU İLKSOY

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. MİNE ÖZKAR KABAKÇIOĞLU

  2. New combined non-orthogonal multiple access techniques for wireless networks

    Telsiz iletişim ağları için yeni birleşik dik olmayan çoklu erişim teknikleri

    SEDA ÜSTÜNBAŞ GAVAS

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. HASAN ÜMİT AYGÖLÜ

  3. SSFT: Selective software fault tolerance

    Seçimsel yazılım hata toleransı

    TUNCER TURHAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖZCAN ÖZTÜRK

  4. Algorithms for interference immunity and efficient radio resource utilization in wireless communications systems

    Kablosuz iletişim sistemlerinde girişim direnci ve verimli radyo kaynağı kullanımı için algoritmalar

    ARMED TUSHA

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Medipol Üniversitesi

    Elektrik-Elektronik Mühendisliği ve Siber Sistemler Ana Bilim Dalı

    PROF. DR. HÜSEYİN ARSLAN