Memory-based approaches to problems in probabilistic modeling
Olasılıksal modelleme problemleri için hafıza tabanlı yaklaşımlar
- Tez No: 766792
- Danışmanlar: PROF. DR. GÖZDE ÜNAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 83
Özet
Derin sinir ağları, derin öğrenmedeki birçok problem için kabul edilen bir çözümdür; ancak, derin sinir ağlarının sağlık hizmetleri gibi güvenlik açısından kritik alanlara uygulanması hala çözülmemiş bir araştırma konusudur. Bu tür alanlarda derin sinir ağlarını kullanmak için, etki alanı içi (hedef) veri kümesine uymaları, hedef etki alanının (hedef) sorunlu bölgeleri (karar vermenin zor olduğu alanlar) üzerinde kalibre edilmiş tahminler sağlamaları ve etki alanı dışındaki sorguları etki alanı içi sorgularından ayırmaları beklenir. Bu beklentiler kapsamlı bir şekilde çalışılsa da, bu çalışmalar oldukça parçalıdır yani bu alanlar ayrı ayrı çalışılmış fakat birlikte incelenmemiştir. Bu nedenle, henüz, bu gereksinimleri aynı anda karşılayabilecek bir model yoktur. Sürekli öğrenme, çok sayıda görevi sıralı bir şekilde öğrenmeyi amaçlayan bir sistemdir. Mükemmel sürekli öğrenme yöntemi, önceki görevleri unutmadan yeni görevlere mükemmel bir şekilde uyum sağlamalıdır. Yine de, sinir ağları, yeni öğrenilen görevin neden olduğu daha önce öğrenilen görevlerde performans düşüşü olan yıkıcı unutmadan muzdariptir. Bununla birlikte, çevresel değişime uyum sağlayabilen akıllı sistemler elde etmek için sürekli öğrenme çok önemlidir ve gereklidir. Bu nedenle, sürekli öğrenme önemli bir araşturma konusudur, fakat sürekli öğrenme üzerine yapılan araştırmalar temel olarak görüntü sınıflandırma görevleri üzerinedir ayrıca zaman dizisi sınıflandırma görevleri üzerinde sınırlı çalışma vardır. Ancak, henüz, çok modlu dinamik modelleme konusunda herhangi bir çalışma bulunmamaktadır. Bu tez bünyesinde, olasılıksal modellemedeki problemlerle çözebilmek için harici bir bellek kullanımının etkilerini incelenmiştir. Bu sorunlara yönelik çözümlerimizi şu şekilde özetlenebilir: i) Kanıt Turing Süreçleri: Öncelikle, toplam kalibrasyonu ilk kez tanımlıyoruz. Bayes modeli ve kanıtsal Bayes modeli olmak üzere iki Bayes paradigmasını inceledikten sonra, bu iki paradigmanın birleşimi olan tam Bayes modelini tanıtılmıştır. Nöral epizodik belleğe sahip tam Bayes modellerinin bir örneği olarak Kanıtsal Turing Süreçleri geliştirilmiştir. Modellerin performansını toplam kalibrasyon üzerinden değerlendirmek için bir deney düzeneği oluşturulmuştur. Tam Bayes modellerinin üyesi olan çözümümüzü, Kanıtsal Turing Süreçleri, diğer paradigmaların en iyi sonuçlarını veren üyeleriyle karşılaştırılmıştır ve ayrıca çözümümüzün kısımlarının etkilerinin daha iyi anlaşılabilmesi için bir ablasyon çalışması yapışmıştır. Modellerin performansını, bir zaman serisi sınıflandırması ve dört görüntü sınıflandırma görevi dahil olmak üzere beş gerçek dünya veri kümeleri altında araştırılmıştır. Ayrıca modellerin üzerinde oynanmış (bozulmuş) veri kümeleri üzerindeki performansları da incelenmiştir. Zaman serisi sınıflandırma veri kümesi olarak IMDB duygu sınıflandırma veri kümesini, görüntü sınıflandırma veri kümeleri olarak tek kanallı siyah-beyaz bir veri kümesi olan Fashion MNIST (FMNIST) veri kümesini, üç kanallı renkli resimler içeren veri kümeleri olan CIFAR10 ve SVHN veri kümeleri kullanılmıştır. Görüntü üzerine 19 farklı bozulum uygulayarak bozulmuş bir veri kümesi olan CIFAR10-C veri kümesi kullanılmıştır ve aynı sistemi uygulayarak bozulmuş FMNIST-C ve SVHN-C veri kümeleri oluşturulup kullanılmıştır. Tahmin doğruluğu olarak test hatası, etki alanı içi (hedef) kalibrasyon puanı olarak Beklenen Kalibrasyon Hatası , model uyumu olarak Negatif Olabilirlik Olasılığı ve etki alanı dışı örneklerinin tespitinin ölçülmesi için ROC Eğrisi Altında Alan olmak üzere dört farklı metrik kullanılmıştır. Yalnızca bizim önerimiz olan Kanıtsal Turing Sürecinin toplam kalibrasyonun her üç yönünde de aynı anda iyi sonuçlar verebildiği bildirilmiştir. ii) Multi modlu Dinamiklerin Sürekli Öğrenimi için Sürekli Dinamik Dirichlet Süreci: Öncelikle multi modlu dinamiklerin sürekli öğrenilmesi olan yeni bir problem ortaya konulmuştur. Bu problem yeni olduğu için, mevcut ve bu probleme adapte edilebilecek olan sürekli öğrenme metodlarından bir temel oluşturulmuştur. Ayrıca bu yeni problem için, görevler arasındaki bilgi aktarımını harici bir bellek üzerinden sağlayan yeni bir çözüm sunulmuştur. Bu yeni tanıtılan problem için bir deney düzeneği tasalanmıştır. Ayrıca bu deney düzeneğinde sırayla yeni görevler gelmesi ve her görev için belirli sayıda farklı mod örneği bulunması sağlanmıştır. Sürekli öğrenme deney düzeneklerinde görev sıralamasındaki bu farklılıklar modellerin öğrenmesine etki edebileceği için farklı sonuçlara sebep olabilir. Bu sebeple, her deney örneği için görev sırasını rastgele olmak üzere değiştirilmiştir. Ayrıca, modellerin bu problemdeki performansını değerlendirmek için üç farklı ve zorlu sentetik veri kümeleri oluşturuyoruz. Sentetik veri kümelerinin haricinde zaman serisi sınıflandırma veri kümelerini bu problem için adapte edilmiştir. Sentetik veri kümeleri bir boyutlu olmak üzere sinüs dalgaları dinamik sistemi, iki boyutlu olan av-avcı denklemleri olarak da bilinen Lotka-Volterra dinamik sistemi ve üç boyutlu olan lineer olmayan kaotik bir dinamik sistem olan Lorenz çekerleri üretilmiştir. Brezilya işaret dilinin oluşturduğu Libras veri kümesi ve tablet üzerinde farklı karakterlerin çizimlerinden oluşan karakter yörüngeleri veri kümeleri bu yeni probleme adapte edilmiştir. Modellerin performansını, tahmin doğruluğunun bir ölçüsü olarak Normalleştirilmiş Ortalama Kareler Hatası ve belirsizliği ölçen bir Bayes modeli uyumu ölçüsü olarak Negatif Olabilirlik Olasılığı ile değerlendirilmiştir. Bizim çözümümüz olan Sürekli Dinamik Dirichlet Süreci'nin, multi modlu dinamik sistemlerin sürekli öğreniminde yerleşik parametre transferi yaklaşımıyla olumlu bir şekilde karşılaştırıldığını bildirilmiştir. Özetlemek gerekirse, bu tez kapsamında, deneyler ve detaylı ablasyonlar ile, harici bellek mimarisinin hem güvenlik açısından kritik alanlarda kullanılacak sinir ağlarının kalibrasyonları hem de multi modlu dinamiklerin sürekli öğrenilmesi için kullanılabileceğini gösterilmiştir.
Özet (Çeviri)
Deep neural networks are an accepted solution for many problems in deep learning; however, the application of deep neural networks to safety-critical areas such as health care is still a hot research topic. To employ deep neural networks in such fields, they are expected to fit the in-domain data set, provide calibrated predictions on problematic regions of the target domain, and separate the out-of-domain queries. Even though these expectancies are studied extensively, these studies are highly fragmented. Therefore, there is no model that is able to fit these requirements simultaneously. Continual Learning (CL) is a framework that aims to learn numerous tasks in a sequential way. The excellent CL method should adapt to new tasks perfectly without forgetting previous tasks. However, neural networks suffer from catastrophic forgetting which is a performance drop on previously learned tasks caused by the newly learned task. Yet, to get intelligent systems capable of adapting to environmental change, CL is crucial. Because of this, CL is a hot topic but the research on CL is mainly on image classification tasks and there is limited work on time sequence classification tasks. Yet, there is no work on multi-modal dynamics modeling. In this thesis, we employ an external memory to deal with problems in probabilistic modeling. Our solutions for these problems can be summarized as follows: i) Evidential Turing Processes (ETP): First, we define total calibration for the first time. After investigating two Bayesian paradigms which are the Bayesian model, and the Evidential Bayesian Model, we introduce the Complete Bayesian Model (CBM) which is a unification of those two paradigms. We develop ETP as an instance of CBMs with neural episodic memory. We build a pipeline to evaluate the models' performance for total calibration. We compare our solution, the ETP member of CBMs, with state-of-the-art members of other paradigms, and we also provide an ablation study. We investigate the models' performance under five real-world data sets including one time-series classification, and four image classification tasks. Furthermore, we tested the models in the corrupted versions of different data sets. We use four different metrics that are test error as prediction accuracy, Expected Calibration Error as in-domain calibration score, Negative Log-Likelihood (NLL) as model fit, and area under the ROC curve as out-of-domain detection score. We report that only the ETP can excel in all three aspects of total calibration simultaneously. ii) Continual Dynamic Dirichlet Process (CDDP) for Continual Learning of Multi-modal Dynamics: We introduce a new problem which is CL of multi-modal dynamics. Since the problem is novel, we create a baseline from the existing ones. For this new problem, we introduce a novel solution that employs an external memory to transfer knowledge between tasks. We curate a pipeline for this newly introduced problem, and in the pipeline new tasks are coming sequentially and each task has a certain number of different mode samples. Differences in task order may cause different results in CL setups; therefore, we change the task order for each replication. We also generate synthetic data sets and adapt time-series classification data sets to evaluate models' performance in the problem. We compare models' performance with Normalized Mean Squared Error as a measure of prediction accuracy and NLL as a measure of Bayesian model fit that quantifies uncertainty. We reveal that our approach, CDDP, compares favorably to the established parameter transfer approach in CL of multi-modal dynamical systems. To sum up, in this thesis, by experiments we show that external memory architecture can be used for both calibrations of neural networks to use in safety-critical areas and CL of multi-modal dynamics.
Benzer Tezler
- İnsan hatalarını sayısallaştırmak için bir model
A model for quantifying of human error
COŞKUN ÖZKAN
Doktora
Türkçe
1992
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF. DR. AHMET F. ÖZOK
- İhtimal ağırlıklı momentler yöntemi noktalamapozisyonu formülleri ve maksimum olabilirlik yöntemi üzerine bir çalışma
Başlık çevirisi yok
ALİ BOZDUMAN
Yüksek Lisans
Türkçe
1994
İnşaat MühendisliğiÇukurova Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. TEFARUK HAKTANIR
- Action quality assessment with multivariate time series
Çok değişkenli zaman serileri ile eylem kalite değerlendirmesi
BURÇİN BUKET OĞUL
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SUAT ÖZDEMİR
- Parça yerleştirme algoritmalarının postal oluşturma problemine uygulanması
Başlık çevirisi yok
FİLİZ BUNYAK
Yüksek Lisans
Türkçe
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiDOÇ.DR. FÜSUN TUNALI (SEÇUK)
- Design and analysis of a novel buffer management model for reliable content dissemination
Güvenilir içerik dağıtımı için yeni bir ara bellek yönetim modelinin tasarım ve analizi
EMRAH AHİ
Yüksek Lisans
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. MİNE ÇAĞLAR
YRD. DOÇ. DR. ÖZNUR ÖZKASAP