Order statistics based training and scoring algorithms for deep outlier detection
Derin aykırı değer analizi için sıra istatistik esaslı optimizasyon ve puanlama algoritmaları
- Tez No: 753665
- Danışmanlar: DR. ÖĞR. ÜYESİ ERHAN ÇENE
- Tez Türü: Yüksek Lisans
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: İstatistik Bilim Dalı
- Sayfa Sayısı: 78
Özet
Otomatik kodlayıcı ağlar, aykırı değer tespiti için en meşhur derin öğrenme yöntemleri arasındadır. Daha düşük boyutlu bir özellik uzayını öğrenerek orijinal örnekleri yeniden yapılandırmayı amaçlayan denetimsiz bir algoritma olarak çalışırlar. Otomatik kodlayıcıların aykırı değer tespitinde önemli bir eksiği, karmaşıklıkları nedeniyle eğitim esnasında aykırı değerleri normal örnekler gibi öğrenebilmesidir. Bu durum aykırı değerlerin eğitim sırasında kaldıraç noktaları gibi davranabilmesi gerçeğiyle daha da kötüleşir. Bu çalışmada, aykırı değerlerin sıra istatistiğine dayalı bir tanımını sunarak bu sorunu çözmeyi öneriyoruz. Aykırı değerler ve normal veriler arasındaki ayrım noktasını tanımladığımız yeni istatistikle sayısal olarak belirliyoruz. Önerilen istatistiği tartışıp, benzetim çalışmaları ile etkinliğini gösteriyoruz. Ayrıca, aykırı değerler için otomatik olarak bir ayrım noktası bulmak adına istatistiğimizi diz kapağı (kneecap) tespit yöntemiyle birleştiriyoruz. İstatistiğimizi otomatik kodlayıcı eğitimine dahil edip bu şekilde ayrım noktasını tahmin etmek için aykırı değer yüzdesinin önsel olarak bilinme ihtiyacını ortadan kaldırıyoruz. Ayrıca kayıp fonksiyonundaki kaldıraç etkisi yüksek aykırı değerleri cezalandırarak daha dayanıklı bir model oluşturan, sıra istatistik tabanlı arttırılmış kayıp fonksiyonunu alan yazına kazandırıyoruz. Son olarak, özellikle aykırı değer tespiti için geliştirilmiş bir erken durdurma algoritması öneriyoruz. Algoritmamızı görüntü ve kimyasal veri kümeleri üzerinde eğiterek, geleneksel otomatik kodlayıcılara göre kayda değer bir gelişim gösterdiğini ortaya koyuyoruz.
Özet (Çeviri)
Autoencoder networks are among the most popular deep learning methods for outlier detection. They work as an unsupervised algorithm that aims to reconstruct original instances through learning a lower dimensional feature space. An important problem with autoencoders is that due to their complexity, they can generalize to learn outliers just as well as normal instances. This is also exacerbated by the fact that outliers can act as points of leverage during training. In this work, we propose to solve this problem by introducing an order statistics based definition of an outlier. Using our definition we quantify the cut-off point between outliers and normal data in a new statistic. We discuss the proposed statistic and demonstrate its effectiveness through simulation studies. Furthermore, we use kneecap detection on our statistic to automatically find a cut-off point for outliers. We incorporate our statistic to autoencoder training and show that with our proposed statistic, autoencoder model no longer needs the percentage of anomalies as a priori to estimate the cut-off point. We also introduce an order statistics augmented loss function, which creates a more robust model by penalizing the leverage effect of outliers in the loss signal. Finally, we introduce an early stopping algorithm specifically for outlier detection. We show that training with our algorithms show a significant improvement when compared to conventional autoencoder training on image and chemical datasets.
Benzer Tezler
- Değişken rezolüzyonlu görüntü örnekleyici
Multi resolution image sampler
RIZA CAN TARCAN
Yüksek Lisans
Türkçe
1991
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiY.DOÇ.DR. M. SAİT TÜRKÖZ
- Madde düzeyinde boyutluluk modellerinin bilgisayar ortamında bireyselleştirilmiş test yöntemleri üzerindeki etkisinin incelenmesi
Examining the effects of item level dimensionality models on multidimensional computerized adaptive testing methods
BURHANETTİN ÖZDEMİR
Doktora
Türkçe
2015
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Yerel zernike momentleri ve metrik öğrenme yöntemleriyle yüz çifti eşleme
Face pair matching with local zernike moments and metric learning methods
ŞEREF EMRE KAHRAMAN
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
- Alt band ayrıştırmasıyla görüntü kodlama
Başlık çevirisi yok
BURÇİN AÇAN
Yüksek Lisans
Türkçe
1998
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. MELİH PAZARCI
- An intrusion detection based on command usage profiling
Komut kullanımı profiline dayalı saldırı sezim yöntemi
OĞUZHAN ÖZTÜRK
Yüksek Lisans
İngilizce
2003
Endüstri ve Endüstri MühendisliğiBoğaziçi ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ RIZA KAYLAN