End-to-end hybrid architectures for effective sequential data prediction
Etkili ardışık veri tahmini için uçtan uca melez mimariler
- Tez No: 829329
- Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 75
Özet
Çevrimiçi öğrenim ile doğrusal olmayan tahminlemeyi çalıştığımız bu tezde, iki adet etkili melez öğrenme metodu sunmaktayız. Bu metotlar, uçtan uca mimariler olup etkili bir şekilde geleneksel algoritmaların zaaflarından olan ihtisasa ve elle ayarlamaya dayalı öznitelik ve model seçimini ortadan kaldırmaktadır. Ayrıntılı olarak, ilk modelimizde gelişmiş bir yinelemeli yapay sinir ağı (Uzun-Kısa-Soluklu Bellek) kullanarak sıralı ham veriden öznitelik özümlemesini otomatik olarak gerçekleştirirken, yumuşak (türevlenebilir) gradyan destekli karar ağaçlarıyla nihai tahmini etkili bir şekilde sağlamaktayız. Bu iki taban modelin birbirine bağlanması uçtan uca olup tüm mimari olasılıksal gradyan inişi (OGİ) ile ortaklaşa eğitilmektedir. İkinci modelimizde ise yine yinelemeli yapıları (UKSB) kullanarak ham veriden öznitelik çıkarımını özedimli hale getirirken, yanına zaman serileri için özel olarak tasarlanmış geleneksel bir model olan harici değişkenli ve tümlevli mevsimsel otoregresif hareketli ortalamalar modelini koyarak ardıl verilere has mevsimsellik gibi çetrefilliklere daha etkili bir şekilde hitap etmekteyiz. Bu iki modelin çalışması yine ayrışık olmayıp tüm mimariyi tek bir durum uzayında toplayıp parçacık süzme (PS) tekniği ile eğitimini gerçekleştirmekteyiz. Sunduğumuz her iki melez mimari de jenerik olup istenirse UKSB yerine, örneğin, geçitli yinelemeli ünite (GYÜ) gibi modeller kullanılabileceği gibi, diğer bileşenler için de herhangi bir türevlenebilir makine öğrenmesi modeli ve durum uzayı temsiline sahip bir geleneksel zaman serisi modeli de kullanılabilmektedir. Ortaya koyduğumuz mimarilerin öğrenme davranışlarını yapay veri setleri ile gösterirken, hem diğer geleneksel metotlara hem de ayrışık hallerine kıyasla elde ettikleri kaydadeğer performans artışlarını da çeşitli gerçek hayat verileri ile sunuyoruz; bu verilerle aynı zamanda modellerin jenerikliğini de göstermekteyiz. Ayriyeten, ortaya konulan modellerin kaynak kodlarını da açık bir şekilde paylaşmaktayız.
Özet (Çeviri)
We investigate nonlinear prediction in an online setting and introduce two hybrid models that effectively mitigate, via end-to-end architectures, the need for hand-designed features and manual model selection issues of conventional nonlinear prediction/regression methods. Particularly, we first use an enhanced recurrent neural network (LSTM) to extract features from sequential signals, while preserving the state information, i.e., the history, and soft gradient boosted decision trees (sGBDT) to produce the final output. The connection is in an end-to-end fashion and we jointly optimize the whole architecture using stochastic gradient descent. Secondly, we again use recursive structures (LSTM) for automatic feature extraction out of raw data but accompany it with a traditional linear time series model (SARIMAX) to deal with the intricacies of the sequential data, e.g., seasonality. The unification of the models is again in a joint manner; it is through a single state space and we optimize the entire architecture using particle filtering. The proposed frameworks are generic so that one can use other recurrent architectures, e.g., GRUs, and differentiable machine learning algorithms as well as time series models that have state space representations in lieu of the specific models presented. We demonstrate the learning behavior of the models on synthetic data and the significant performance improvements over the conventional methods and the disjoint counterparts over various real life datasets, with which we also show the generic nature of the frameworks. Furthermore, we openly share the source code of the proposed methods to facilitate further research.
Benzer Tezler
- Architecture of constraints: A mass customization oriented approach for housing design
Kısıtlarla tanımlanan mimarlık: Kitlesel özelleştirme odaklı konut tasarımı
BENGİSU İLKSOY
Yüksek Lisans
İngilizce
2015
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. MİNE ÖZKAR KABAKÇIOĞLU
- New combined non-orthogonal multiple access techniques for wireless networks
Telsiz iletişim ağları için yeni birleşik dik olmayan çoklu erişim teknikleri
SEDA ÜSTÜNBAŞ GAVAS
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ÜMİT AYGÖLÜ
- SSFT: Selective software fault tolerance
Seçimsel yazılım hata toleransı
TUNCER TURHAN
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÖZCAN ÖZTÜRK
- Next-generation ring based self healing WDM-PON architecture with private networking capability and wavelength sharing
Başlık çevirisi yok
HASAN ERKAN
Doktora
İngilizce
2008
Elektrik ve Elektronik MühendisliğiThe City University of New YorkPROF. DR. MOHAMMED A. ALI
- Algorithms for interference immunity and efficient radio resource utilization in wireless communications systems
Kablosuz iletişim sistemlerinde girişim direnci ve verimli radyo kaynağı kullanımı için algoritmalar
ARMED TUSHA
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Medipol ÜniversitesiElektrik-Elektronik Mühendisliği ve Siber Sistemler Ana Bilim Dalı
PROF. DR. HÜSEYİN ARSLAN