Geri Dön

Interval neural networks for uncertainty quantification in system identification

Sistem tanımlamada belirsizlik nicelemesi için aralıklı yapay sinir ağları

PDF İndir

  1. Tez No: 1012319
  2. Yazar: MEHMET ALİ FERAH
  3. Danışmanlar: PROF. DR. TUFAN KUMBASAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Sistem tanımlama (SysID), fiziksel süreçlerin dinamik davranışlarını deneysel gözlemler ve ölçülen veriler aracılığıyla matematiksel olarak ifade edilmesini sağlayan, kontrol teorisi ve sinyal işlemenin temel taşlarından biridir. Geleneksel yaklaşımlar, özellikle doğrusal zamanla değişmeyen sistemler üzerinde güçlü bir teorik altyapı sunsa da, gerçek dünya uygulamalarındaki sistemlerin çoğu yüksek dereceden doğrusal olmayan, zamanla değişen ve karmaşık dinamiklere sahiptir. Klasik modellerin bu karmaşıklığı temsil etmedeki yetersizliği, model yapısı ile gerçek sistem davranışı arasında belirgin bir boşluk yaratmaktadır. Son yıllarda, derin öğrenme (DL) tabanlı mimariler, büyük veri kümelerinden karmaşık örüntüleri öğrenme yetenekleriyle bu sınırlamaları aşmak için güçlü bir alternatif olarak öne çıkmıştır. Ancak, sinir ağlarının kara kutu doğası, özellikle havacılık, otonom sürüş ve kritik endüstriyel süreçler gibi yüksek hassasiyet gerektiren alanlarda bir güven problemine yol açmaktadır. Standart bir DL modeli, girdi verisindeki gürültüye, eksik veriye veya eğitim verisinin temsil etmediği durumlara karşı oldukça hassastır. Bu noktada, sadece nokta tahmini üreten modellerin yerine, tahminin ne kadar güvenilir olduğunu belirten belirsizlik farkındalığına sahip sistemlerin geliştirilmesi zorunlu hale gelmiştir. Belirsizliğin modellenmesi, sistemin gelecekteki davranışını sadece tek bir değerle değil, bir olasılık dağılımı veya güven aralığı ile tanımlamayı mümkün kılar. Bu tez çalışması, geleneksel nokta tahmini yaklaşımlarının ötesine geçerek, Belirsizlik Nicelleştirmesi (UQ) çerçevesinde tahmin aralıklarının (PIs) oluşturulması üzerine odaklanmaktadır. Önerilen metodoloji, SysID süreçlerinde kullanılan DL tabanlı modellerde, model yapısı ve sınırlı veri kaynaklı epistemik belirsizliklerin sistematik bir şekilde temsil edilmesini, yayılımının incelenmesini ve nicelenmesini hedeflemektedir. Bu doğrultuda geliştirilen yapılar, sistem davranışını deterministik bir çıktı yerine tahmin aralıkları üzerinden temsil eder. Bu tez kapsamında, belirsizlik farkındalığına sahip SysID için Aralıklı Sinir Ağları (INN) tabanlı bir yaklaşım önerilmiştir. Literatürde belirsizlik genellikle olasılıksal yöntemler ile değerlendirilirken, bu çalışmada daha genel ve dağılım varsayımı gerektirmeyen bir yöntem benimsenmiş ve belirsizlik INN ile modellenmiştir. SysID problemlerinin durum ve zaman bağımlı yapısı göz önünde bulundurularak LSTM ve Neural ODE yapıları temel alınmış, ardından bu modellerin aralıklı karşılıkları olan Aralıklı LSTM (ILSTM) ve Aralıklı Neural ODE (INODE) yapıları tasarlanmıştır. Böylece geliştirilen modeller hem nokta tahmini hem de buna karşılık gelen tahmin aralığını aynı anda üretebilir hale getirilmiştir. Önerilen yaklaşım iki farklı eğitim stratejisi üzerinden incelenmiştir. Birincisi olan Kademeli INN (C-INN), önce klasik ağın eğitildiği ve ardından aralıklı yapıya dönüştürüldüğü iki aşamalı yaklaşım ve Birleşik INN (J-INN), tahmin doğruluğu ve aralıklı hassasiyetinin birlikte optimize edildiği tek aşamalı eğitim yöntemi. Her iki yaklaşımda belirsizlik odaklı kayıp fonksiyonları ve uygun parametreleştirme teknikleri kullanılmış, özellikle uzun zaman dizilerinde görülebilecek kararsızlıklar azaltılarak daha güvenilir ve sağlam bir öğrenme süreci elde edilmiştir. C-INN yapısında eğitim süreci iki aşamalı bir hiyerarşiyle yürütülmektedir; ilk aşamada model, Ortalama Kare Hata (MSE) metriği temel alınarak nokta tahmini performansı için optimize edilmektedir. Optimizasyonun ardından, ağdaki her bir öğrenilebilir parametre (LP) üzerinde asimetrik özellikli aralıklar tanımlanmakta ve bu aralıklar, Genişlik Cezalı Kantil Regresyon (RQR-W) kayıp fonksiyonu kullanılarak eğitilmektedir. Böylece modelin hem nokta tahmini hem de belirsizlik sınırlarını asimetrik bir esneklikle öğrenmesi sağlanmaktadır. Buna karşın J-INN yapısı, nokta tahmini doğruluğu ile aralık hassasiyetini eş zamanlı olarak optimize eden bütünleşik bir mimari sunmaktadır. Bu yapıda, MSE ve RQR-W kayıp fonksiyonları arasındaki dengenin kurulması için Pareto optimizasyon prensiplerine dayalı bir strateji izlenmiştir. Farklı ölçeklerdeki ve birbiriyle doğrudan ilişkisi bulunmayan bu iki metriğin birbirine karşı baskınlık kurmasını engellemek amacıyla, her iki fonksiyon belirli ağırlık katsayılarıyla birleştirilerek tek bir birleşik kayıp fonksiyonuna indirgenmiştir. Bu ağırlık katsayılarının dinamik olarak belirlenmesi ve eğitim sırasında adaptif bir denge sağlanması için GradNorm algoritması kullanılmıştır. Her iki model yapısında da parametreler üzerindeki belirsizlik aralıkları, nokta tahmini için tasarlanan sinir ağı parametrelerinin aralıklı parametrelere dönüştürülmesiyle elde edilmiştir. Bu süreçte, mevcut sabit parametrelere bir sapma değeri eklenerek veya çıkarılarak aralıklı bir parametre uzayı oluşturulmuştur. Eğitim esnasında alt ve üst bantların yer değiştirmesini (tahmin aralıklarının birbiriyle çakışmasını veya negatif genişlik oluşmasını) engellemek amacıyla özel bir parametrizasyon tekniği uygulanmıştır. Bu kapsamda, aralık genişliğini belirleyen sapma değerleri, pozitif çıktı üreten uygun bir aktivasyon fonksiyonundan (mutlak değer veya ReLU gibi) geçirilmiştir. Uygulanan bu yöntem, özünde kısıtlı bir optimizasyon problemini kısıtsız bir forma dönüştürerek çözüm sürecini basitleştirmiştir. Bu yaklaşım sayesinde, optimizasyon algoritmasının aralık tutarlılığını sağlamak için ek kısıtlarla zorlanmasına gerek kalmadan, daha kararlı, anlamlı ve hesaplama açısından verimli bir öğrenme süreci gerçekleştirilmiştir. Deneysel aşamada, önerilen modellerin gerçek dünya dinamikleri üzerindeki temsil kabiliyetini ve güvenilirliğini test etmek amacıyla fiziksel sistemlerden elde edilen gerçek veri setleri kullanılmıştır. Bu kapsamda, INODE-1, INODE-2, ILSTM-1 ve ILSTM-2 olarak isimlendirilen dört temel yapı üzerinden karşılaştırmalı bir analiz yürütülmüştür. Bu konfigürasyonlar, her bir model mimarisinin aralık parametrizasyonu aşamasında iki farklı aktivasyon fonksiyonunun (Mutlak Değer ve ReLU) entegre edilmesiyle oluşturulmuş, ardından her bir varyasyon önerilen C-INN ve J-INN stratejileriyle eğitilmiştir. Bu deneysel tasarım; INODE ve ILSTM mimari farklarının, aktivasyon fonksiyonu seçimlerinin ve sunulan eğitim stratejilerinin sistem tanımlama performansı üzerindeki bireysel ve bütünleşik etkilerini derinlemesine analiz etmeyi hedeflemektedir. Deneylerden elde edilen bulgulara göre, aktivasyon fonksiyonu özelinde yapılan incelemelerde mutlak değer fonksiyonunun ReLU'ya kıyasla daha stabil bir performans sergilediği gözlemlenmiştir. Eğitim stratejileri açısından ise, C-INN yaklaşımının iki aşamalı optimizasyon hiyerarşisi sayesinde nokta tahmini doğruluğunda daha başarılı olduğu, buna karşılık J-INN yönteminin, kayıp fonksiyonları arasındaki dengeli optimizasyon sayesinde çok daha iyi kalibre edilmiş belirsizlik aralıkları ürettiği saptanmıştır. Elde edilen tüm bu sonuçlar; belirsizlik metrikleri, nokta tahmin performansları ve modellerin varyans davranışları ekseninde hazırlanan tablolar ve kutu grafikleri ile desteklenerek ayrıntılı bir biçimde raporlanmıştır. Modellerin iç dinamiklerini ve belirsizlik kaynaklarını yapısal bir perspektifle irdelemek amacıyla, çalışma kapsamında kapsamlı bir elastisite analizi yürütülmüştür. Parametre düzeyindeki belirsizliğin sistem çıktılarına olan etkisinin bu şekilde ayrıştırılması, sinir ağları tarafından öğrenilen paramtreler üzerindeki belirsizliklerin tekil olarak incelenmesine olanak tanımıştır. Bu sayede, model parametrelerinin belirsizlik karakteristikleri yönünden işlevsel bir biçimde anlamlandırılması ve 'kara kutu' olarak nitelendirilen derin öğrenme yapılarının şeffaflaştırılması hedeflenmiştir. Aynı zamanda, elde edilen elastisite değerlerinin giriş kanalları üzerindeki izdüşümleri hesaplanarak kanal bazlı bir belirsizlik analizi gerçekleştirilmiştir. Bu yaklaşım, hangi giriş değişkeninin veya sensör verisinin modelin toplam tahmin belirsizliği üzerinde ne ölçüde belirleyici olduğunu nicel ve yorumlanabilir bir biçimde ortaya koymaktadır. Sonuç olarak bu analiz, sistem tanımlama sürecinde kritik öneme sahip olan giriş kanallarının tespit edilmesini sağlarken, belirsizliğin kaynağına dair sistemsel bir içgörü sunmaktadır. Bu bağlamda, kanal bazlı belirsizlik analizi yalnızca modelin tahmin performansını değerlendirmekle sınırlı kalmayıp, aynı zamanda sistemin fiziksel yapısına ve ölçüm mimarisine ilişkin çıkarımlar yapılmasına da olanak tanımaktadır. Özellikle çoklu sensör girdilerinin bulunduğu sistemlerde, hangi ölçümlerin model tarafından daha baskın bir belirsizlik kaynağı olarak değerlendirildiğinin ortaya konulması, hem veri toplama süreçlerinin hem de modelleme stratejilerinin yeniden gözden geçirilmesi açısından önemli bir avantaj sunmaktadır. Bu sayede, gereksiz veya düşük katkı sağlayan girişlerin tespiti, kritik sensörlerin ise daha yüksek çözünürlükte veya daha güvenilir biçimde tasarlanması gibi uygulamaya dönük iyileştirmeler desteklenmektedir. Sonuç olarak bu tez çalışması, DL tabanlı mimariler ile UQ yöntemlerini sentezleyerek, güvenilir SysID süreçleri için yenilikçi ve etkin bir çözüm sunmaktadır. Deneysel bulgular, INN tabanlı modellerin hem nokta tahmini doğruluğu hem de belirsizlik ifade kapasitesi açısından yüksek bir performans sergilediğini kanıtlamıştır. Geliştirilen eğitim stratejileri ve parametrizasyon teknikleri, klasik yöntemlerin yetersiz kaldığı yüksek dereceden doğrusal olmayan ve gürültülü sistem dinamiklerinin UQ çerçevesinde modellenmesine olanak sağlamıştır. Böylece model, yalnızca en olası çıktıyı üretmekle kalmayıp, bu çıktıya ait güvenilir tahmin aralıklarını da sunabilmektedir. Tez kapsamında özellikle geliştirilen modellerin sergilediği düşük varyans ve yüksek kalibrasyon değerleri, önerilen metodolojinin veri setindeki gürültüye karşı dayanıklılığını ve eğitim verisi dışındaki senaryolarda sergilediği genelleştirme yeteneğini doğrulamaktadır. Ayrıca, elastisite analizi üzerinden gerçekleştirilen kanal bazlı belirsizlik izdüşümü, modelin hangi fiziksel parametrelere duyarlı olduğunu ortaya koyarak sistemin fiziksel doğası ile yapay sinir ağı parametreleri arasında köprü kurmuştur. Gelecekte yapılacak çalışmaların,“kara kutu”modellerin şeffaflaştırılması hedefine paralel olarak, bu açıklayıcı analiz araçlarını sistem dinamikleri ve giriş kanallarının önemi ile olan bağını güçlendirecek şekilde daha ileriye taşıması hedeflenmektedir. Buna ek olarak, INN yapılarının fizik tabanlı formülasyonlara genişletilmesi ve geliştirilen çerçevenin büyük ölçekli ve gerçek zamanlı uygulamalara uyarlanması, belirsizlik farkındalığına sahip sistem tanımlama yöntemlerinin kritik emniyet sistemleri ve kontrol uygulamalarındaki pratik kullanımını artırmaya yönelik gelecek çalışmalar için önemli araştırma yönelimleri olarak öngörülmektedir.

Özet (Çeviri)

System identification (SysID) is a fundamental discipline in control theory and signal processing, aiming to model the dynamic behavior of physical systems based on experimental observations and measured data. While traditional approaches provide a strong theoretical foundation for linear time-invariant systems, real-world systems often exhibit highly nonlinear, time-varying, and complex dynamics. This mismatch between classical model assumptions and actual system behavior results in limited modeling accuracy and reliability. In recent years, deep learning (DL)-based architectures have emerged as powerful alternatives due to their ability to learn complex representations directly from data. However, the black-box nature of neural networks introduces significant trust and safety concerns, particularly in safety-critical applications such as autonomous systems, aerospace, and industrial control. A major limitation of standard DL models is their reliance on point predictions, which fail to convey the reliability of the estimated outputs under noisy measurements, incomplete data, or unseen operating conditions. Consequently, uncertainty-aware SysID has become a critical requirement. Modeling uncertainty enables system behavior to be represented not by a single deterministic value, but by prediction intervals (PIs) or probabilistic descriptions, offering a more informative and reliable decision-making framework. Motivated by this need, this thesis focuses on the construction of PIs within the framework of Uncertainty Quantification (UQ) for SysID problems. In this thesis, an Interval Neural Network (INN)-based methodology is proposed for uncertainty-aware SysID. Unlike probabilistic approaches that require explicit distributional assumptions, the proposed framework adopts interval arithmetic, providing a more general representation of uncertainty. Considering the temporal and state-dependent nature of SysID problems, LSTM and Neural ODE architectures are selected as baseline models and extended into their interval counterparts, namely Interval LSTM (ILSTM) and Interval Neural ODE (INODE). These models are capable of simultaneously producing point predictions and their associated PIs. Two distinct training strategies are investigated. The first approach, referred to as Cascade INN (C-INN), follows a two-stage optimization procedure in which the base network is first trained for point prediction accuracy using the MSE loss, followed by interval learning via asymmetric parameter intervals optimized with a Width-Penalized Relaxed Quantile Regression (RQR-W) loss. The second strategy, named Joint INN (J-INN), introduces a unified training framework where point prediction accuracy and interval precision are optimized simultaneously. To balance the competing objectives of MSE and RQR-W losses, a Pareto-based multi-objective optimization strategy is employed, with adaptive weighting achieved through the GradNorm algorithm. To ensure interval consistency during training, a dedicated parametrization technique is introduced, preventing interval collapse or sign violations. Deviation parameters used to construct PIs are enforced to remain positive by passing them through suitable activation functions, such as ReLU or absolute functions, thereby transforming a constrained optimization problem into an unconstrained one. The proposed methods are validated using real-world datasets obtained from physical systems. Four model configurations—ILSTM-1, ILSTM-2, INODE-1, and INODE-2—are constructed by combining different architectures and activation functions, and trained under both C-INN and J-INN strategies. Experimental results indicate that models employing absolute function as interval parametrization demonstrate more robust behavior compared to ReLU-based variants. While the C-INN strategy achieves superior point prediction accuracy, the J-INN approach yields significantly better-calibrated and more reliable PIs. To gain deeper insight into the sources of epistemic uncertainty, we further conduct elasticity analysis on the model parameters. Projecting this elasticity into the input channel space, referred to as channel-wise elasticity, provides an interpretable view of how uncertainty is distributed within the models. This analysis provides valuable insights into which physical inputs or sensor measurements predominantly influence the overall prediction uncertainty and also enables the examination of how uncertainty is distributed within the model parameters. In conclusion, this thesis presents a unified framework that integrates DL architectures with UQ techniques for reliable SysID. The proposed INN-based models demonstrate strong point prediction performance and well-calibrated uncertainty estimates. The findings highlight the potential of INNs for uncertainty-aware modeling of complex, nonlinear, and noisy dynamical systems, offering a promising foundation for future extensions toward physics-informed formulations and real-time, safety-critical control applications.

Benzer Tezler

  1. Tez No

    955264

    Learning general type-2 fuzzy logic systems for uncertainty quantification

    Belirsizlik nicelleştirilmesi için genel tip-2 bulanik mantik sistemlerinin öğrenilmesi

    YUSUF GÜVEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. TUFAN KUMBASAR

  2. Tez No

    856275

    Design and deployment of deep learning based fuzzy logicsystems

    Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması

    AYKUT BEKE

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUFAN KUMBASAR

  3. Tez No

    707571

    Zamanın ve mekânın genişlemiş alanında bir kültürteknik: paralel projeksiyon

    A cultural technique in the expanded field of time and space: parallel projection

    MELEK KILINÇ

    Doktora

    Türkçe

    Türkçe

    2021

    MimarlıkMimar Sinan Güzel Sanatlar Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. AHMET TERCAN

  4. Tez No

    1017646

    Farklı çikolataların reolojik, tekstürel, duyusal özelliklerinin ve diğer bazı kalite kriterlerinin yapay sinir ağları ile tahminlenmesi

    Prediction of rheological, textural, sensory properties and some other quality criteria of different chocolates using artificial neural networks

    NURCANAN AYDIN

    Doktora

    Türkçe

    Türkçe

    2026

    Gıda Mühendisliğiİstanbul Teknik Üniversitesi

    Gıda Mühendisliği Ana Bilim Dalı

    PROF. DR. FİLİZ ALTAY

  5. Tez No

    559303

    Human operator modelling with ts fuzzy modelling using symbolic interval-valued data

    Sembolik aralık-değerli veri kullanarak takagi-sugeno bulanık modelleme ile insan opertörlerinin modellenmesi

    ANIL ERDİNÇ TÜFEKÇİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUFAN KUMBASAR

Geri Dön