Online minimax optimal density estimation and anomaly detection in nonstationary environments
Durağan olmayan ortamlarda çevrimiçi minimaks optimal yoğunluk tahmini ve anomali tespiti
- Tez No: 470054
- Danışmanlar: DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Mühendislik Bilimleri, Elektrik ve Elektronik Mühendisliği, İstatistik, Engineering Sciences, Electrical and Electronics Engineering, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çevrimiçi anomali tespiti, ağ izleme, siber güvenlik, gözetleme ve sensör arızalarındaki uygulamaları nedeniyle son yıllarda büyük ilgi gördü. Bu amaçla, zaman serilerindeki anomalileri saptamak için verileri sıralı olarak işleyen bir algoritma sunmaktayız. Algoritmamız iki aşamadan oluşmaktadır: yoğunluk tahmini ve anomali tespiti. İlk olarak, normal veriyi modellemek için bir olasılık yoğunluk fonksiyonu oluşturuyoruz. Daha sonra, anomalileri tespit etmek için yeni gözlemlerin yoğunluğunu bir eşik değeriyle karşılaştırıyoruz. Bu problemi çözerken bilişim teorisi yaklaşımı kullanıyoruz ve literatürde ilk defa, güçlü ve deterministik olarak optimal bir anomali tespit algoritması yaratmak için her iki aşamada da minimaks optimal yöntemler önermekteyiz. İlk aşamada, gözlemlenen verilerin üzerinde herhangi bir varsayımda bulunmaksızın durağan olmayan ve üstel aileye ait olan olasılıksal dağılımlar için minimaks optimal olan çevrimiçi yoğunluk tahmin algoritmasını sunuyoruz. Algoritmamızın, zaman ufkunu, temel dağılımın değişimini veya kaynak parametrelerinin değiştiği zamanları önceden bilmesine gerek yoktur. Sonuçlarımızın herhangi bir gözlem sekansı için tutulması garanti edilmektedir. Algoritmamızın ikinci aşaması için, seçilebilecek en iyi eşik değerine karşı logaritmik performans sınırlarına sahip bir çevrimiçi eşik belirleme yöntemi önermekteyiz. Algoritmamız her iki aşamada da log-lineer pişmanlıklar elde etmek için parametrelerini çevrimiçi bir şekilde günceller. Yoğunluk tahmini aşamasında evrensel tahmin perspektifi kullandığımız için, anomali tespit algoritmamız gözetimsiz, yarı gözetimli veya gözetimli şekilde kullanılabilir. Sentetik ve gerçek verilerdeki deneylerle önemli performans kazanımları gösteriyoruz.
Özet (Çeviri)
Online anomaly detection has attracted significant attention in recent years due to its applications in network monitoring, cybersecurity, surveillance and sensor failure. To this end, we introduce an algorithm that sequentially processes data to detect anomalies in time series. Our algorithm consists of two stages: density estimation and anomaly detection. First, we construct a probability density function to model the normal data. Then, we threshold the density of the newly observed data to detect anomalies. We approach this problem from an information theoretic perspective and, for the first time in the literature, propose minimax optimal schemes for both stages to create an optimal anomaly detection algorithm in a strong deterministic sense. For the first stage, we introduce an online density estimator that is minimax optimal for general nonstationary exponential-family of distributions without any assumptions on the observation sequence. Our algorithm does not require a priori knowledge of the time horizon, the drift of the underlying distribution or the time instances the parameters of the source changes. Our results are guaranteed to hold in an individual sequence manner. For the second stage, we propose an online threshold selection scheme that has logarithmic performance bounds against the best threshold chosen in hindsight. Our complete algorithm adaptively updates its parameters in a truly sequential manner to achieve log-linear regrets in both stages. Because of its universal prediction perspective on its density estimation, our anomaly detection algorithm can be used in unsupervised, semi-supervised and supervised manner. Through synthetic and real life experiments, we demonstrate substantial performance gains with respect to the state-of-the-art.
Benzer Tezler
- Connectivity and reliability modeling in next generation vehicular networks
Gelecek nesil araçlar arası haberleşme ağlarında bağlantı ve güvenilirlik modellemesi
ELİF BOZKAYA
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. BERK CANBERK
- Novel methodology for construction and decoding of color data codes
Renk veri kodlarının oluşturulması ve çözümlenmesi için yeni metodoloji
REFİK TANJU SİRMEN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BURAK BERK ÜSTÜNDAĞ
- Radar uygulamalarında vivaldi anten tasarımı ve optimizasyonu
Vivaldi antenna design and optimization in radar applications
ERDEM BARLİK
Yüksek Lisans
Türkçe
2026
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEBAHATTİN EKER
- AI-o/o 4.5 Cu-o/o (x) Li-o/o 0.5 Mg-o/o 0.5 Ag-o/o 015 Zr alaşımlarının oksidasyon özellikleri
Başlık çevirisi yok
HÜSEYİN ÇAKIR
Yüksek Lisans
Türkçe
1998
Metalurji Mühendisliğiİstanbul Teknik ÜniversitesiMetalurji Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET ALTMIŞOĞLU
- Veri arttırma tekniğinin endüstriyel bir problemde incelenmesi
Investigation of the data augmentation technique in an industrial problem
ALPTEKİN KAVAKOĞLU
Yüksek Lisans
Türkçe
2025
Mühendislik BilimleriSakarya Üniversitesiİmalat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GARİP ERDOĞAN
DR. ÖĞR. ÜYESİ -