Black-box system identification with deep recurrent networks and classical models
Derin yinelemeli ağlar ve klasik modeller ile kara-kutu sistem tanılama
- Tez No: 999217
- Danışmanlar: DOÇ. DR. ÖNDER TÜRK, DR. ÖĞR. ÜYESİ NURGÜL GÖKGÖZ KÜÇÜKSAKALLI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Matematik, Computer Engineering and Computer Science and Control, Mathematics
- Anahtar Kelimeler: Box-Jenkins, Derin öğrenme, Geçitli tekrarlayan birim, Otoregresif modeller, Sistem tanıma, Uzun kısa süreli bellek, Box-Jenkins, Deep learning, Gated recurrent unit, Autoregressive models, System identification, Long- short term memory
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Uygulamalı Matematik Enstitüsü
- Ana Bilim Dalı: Bilimsel Hesaplama Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenme yöntemleri çok sayıda uygulama alanında dikkate değer başarılar elde etmiş olsa da, doğrusal olmayan sistem tanımlama (nonlinear system identification) bağlamındaki kullanımları henüz etkin bir araştırma alanı olmaya devam etmektedir. Bu tez çalışmasında, doğrusal olmayan kara-kutu (black-box) sistem tanımlama problemi kapsamında, tekrarlayan sinir ağları (RNN) ile klasik sistem tanımlama yaklaşımları standart kıyas veri kümeleri üzerinde ayrıntılı ve karşılaştırmalı bir biçimde incelenmektedir. Bu doğrultuda, RNN tabanlı yaklaşımlar olan standart RNN, uzun-kısa süreli bellek (LSTM) ve kapılı tekrarlayan birim (GRU) mimarileri; klasik yöntemlerden doğrusal Box-Jenkins (BJ) modeli ile dışsal girişli doğrusal olmayan otoregresif (NARX) modelle karşılaştırılmaktadır. Modellerin başarımı, farklı hata ölçütleri ile birlikte hesaplama süresi dikkate alınarak değerlendirilmekte; böylece tahmin doğruluğu ile hesaplama verimliliği arasındaki denge nicel olarak ortaya konulmaktadır. Karşılaştırmalı analizler, doğrusal olmayan sistem tanımlama literatüründe yaygın biçimde kullanılan Silverbox kıyaslama veri seti üzerinde gerçekleştirilmektedir. Tez çalışmasının ilk aşamasında, klasik yöntemlerde model derecelerinin sistematik olarak ayarlanması yoluyla referans sonuçlar elde edilmekte ve özellikle BJ modeli için uygulanan ızgara aramasının (grid search), standart yapılandırmalara kıyasla performansı belirgin biçimde iyileştirdiği gösterilmektedir. Ardından, sıfırdan geliştirilen bir RNN temel modeli, korelasyon temelli gecikme seçimi (lag selection) içeren, yine sıfırdan geliştirilen bir RNN varyantı ve yalnızca geçmiş giriş dizilerini kullanan PyTorch tabanlı bir RNN modeli uygulanarak uzun bellek pencerelerinin gerekliliği kapsamlı biçimde incelenmektedir. Tezin özgün katkılarından biri, uzun kaydırmalı pencere girdileri yerine, bilgilendirici gecikmeli değişkenlerden oluşan kompakt bir regresör kümesi kullanan korelasyon güdümlü, değiştirilmiş bir RNN mimarisinin önerilmesidir. Bu yapının kullanılmasıyla elde edilen sonuçlar, korelasyon temelli gecikme seçiminin hem temel RNN modeline hem de uzun ufuklu mimarilere kıyasla daha yüksek tahmin doğruluğu sağladığını; bununla birlikte model karmaşıklığını ve hesaplama yükünü belirli ölçülerde azalttığını ortaya koymaktadır. Önerilen gecikme tasarım ilkesinin özel bir veri setinden bağımsız olarak kullanılabildiğini test etmek amacıyla, korelasyon güdümlü değiştirilmiş RNN mimarisi ayrıca Wiener–Hammerstein kıyas sistemi üzerinde test edilmiştir. Bu ek deneyler, kompakt ve bilgilendirici gecikmeli regresör kümelerinin söz konusu veri setinde de etkili biçimde çalıştığını göstermektedir. Genel olarak elde edilen bulgular, bilgilendirici gecikmeli regresörlerin RNN yapılarıyla bütünleştirilmesinin, doğrusal olmayan kara-kutu sistem tanımlama problemleri için hem yüksek doğruluk sunan hem de hesaplama açısından verimli bir yaklaşım olduğunu göstermektedir. Yalnızca giriş verilerini kullanan tekrarlayan modellerin yanı sıra, girişlere ek olarak otoregresif çıktı geri beslemesi içeren ARX-tipi RNN formülasyonları da incelenmektedir. Silverbox kıyaslama sistemi üzerinde gerçekleştirilen deneyler, bu ARX-tipi mimarilerin analiz edilen ölçütlerde en yüksek performansı sergilediğini ortaya koymakta; bu durum, doğrusal olmayan dinamiklerin etkin biçimde modellenmesinde açık çıktı geri beslemesinin model başarımına doğrudan katkı sağladığını göstermektedir.
Özet (Çeviri)
Deep learning has demonstrated significant, well-established success across a range of application domains; however, its use in nonlinear system identification remains an active area of research. This thesis provides a rigorous comparative analysis of Recurrent Neural Networks (RNNs) and classical identification frameworks for nonlinear black-box system identification on standard benchmarks. Specifically, recurrent neural architectures, including RNN, long short-term memory, and gated recurrent unit models, are compared against two classical identification baselines: a linear Box-Jenkins (BJ) model and a Nonlinear Autoregressive Model with eXogenous input (NARX). Performance is evaluated using various measures of prediction error alongside training time, to quantify the trade-off between predictive accuracy and efficiency. The comparative evaluation is conducted on the Silverbox benchmark system, a widely used reference for nonlinear system identification. Classical baselines are first established by tuning model orders, demonstrating that grid search improves BJ model performance relative to standard configurations. Subsequently, an RNN baseline, an RNN variant incorporating a correlation-guided lag selection procedure (both written from scratch), and a PyTorch-based RNN model driven solely by past input sequences are implemented to assess whether long memory windows are necessary or not. A specific contribution of this study is the design of correlation-guided modified RNN that replaces long sliding-window inputs with a compact set of informative lagged regressors. The results obtained from its application show that principled correlation-driven lag selection achieves superior predictive accuracy compared to both the RNN baseline and long-horizon architectures, while simultaneously reducing model complexity. To assess the transferability of the proposed lag-design principle, the correlation-guided modified RNN is further evaluated on the Wiener–Hammerstein benchmark, where a similarly compact set of informative lagged regressors is found to remain effective. Overall, the results indicate that embedding informative lagged regressors into RNNs provides an accurate and computationally efficient approach to nonlinear black-box system identification. In addition to input-only recurrent models, ARX-type RNN formulations that incorporate autoregressive output feedback alongside inputs are investigated. On the Silverbox benchmark, these ARX-type architectures achieve the strongest performance, highlighting the importance of explicit output feedback for capturing the underlying nonlinear dynamics.
Benzer Tezler
- Face recognition and person re-identification for person recognition
Kişi tanıma için yüz tanıma ve kişinin yeniden tanınması
EMRAH BAŞARAN
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
PROF. DR. MUHİTTİN GÖKMEN
- Interval neural networks for uncertainty quantification in system identification
Sistem tanımlamada belirsizlik nicelemesi için aralıklı yapay sinir ağları
MEHMET ALİ FERAH
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. TUFAN KUMBASAR
- Performance enhancement of palm recognition system by robust machine learning approaches
Başlık çevirisi yok
LAYTH MOHAMMED ABBAS AL-MASHHADANI
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OSMAN NURİ UÇAN
- Vision-based detection and recognition of maritime objects for autonomous surface navigation
Otonom deniz seyrüseferi için görüntü tabanlı engel tespiti ve gemi sınıflandırma
SEVDA SAYAN YONCA
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Non-linear black-box modelling ionospmerical critical frequency process using neural networks
İyonosfersel kritik sıklık sürecinin doğrusal olmayan kara-kutu benzeklenmesi
ORKUN ALTINAY
Yüksek Lisans
İngilizce
1996
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERSİN TULUNAY