Order statistics based training and scoring algorithms for deep outlier detection
Derin aykırı değer analizi için sıra istatistik esaslı optimizasyon ve puanlama algoritmaları
- Tez No: 753665
- Danışmanlar: DR. ÖĞR. ÜYESİ ERHAN ÇENE
- Tez Türü: Yüksek Lisans
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: İstatistik Bilim Dalı
- Sayfa Sayısı: 78
Özet
Otomatik kodlayıcı ağlar, aykırı değer tespiti için en meşhur derin öğrenme yöntemleri arasındadır. Daha düşük boyutlu bir özellik uzayını öğrenerek orijinal örnekleri yeniden yapılandırmayı amaçlayan denetimsiz bir algoritma olarak çalışırlar. Otomatik kodlayıcıların aykırı değer tespitinde önemli bir eksiği, karmaşıklıkları nedeniyle eğitim esnasında aykırı değerleri normal örnekler gibi öğrenebilmesidir. Bu durum aykırı değerlerin eğitim sırasında kaldıraç noktaları gibi davranabilmesi gerçeğiyle daha da kötüleşir. Bu çalışmada, aykırı değerlerin sıra istatistiğine dayalı bir tanımını sunarak bu sorunu çözmeyi öneriyoruz. Aykırı değerler ve normal veriler arasındaki ayrım noktasını tanımladığımız yeni istatistikle sayısal olarak belirliyoruz. Önerilen istatistiği tartışıp, benzetim çalışmaları ile etkinliğini gösteriyoruz. Ayrıca, aykırı değerler için otomatik olarak bir ayrım noktası bulmak adına istatistiğimizi diz kapağı (kneecap) tespit yöntemiyle birleştiriyoruz. İstatistiğimizi otomatik kodlayıcı eğitimine dahil edip bu şekilde ayrım noktasını tahmin etmek için aykırı değer yüzdesinin önsel olarak bilinme ihtiyacını ortadan kaldırıyoruz. Ayrıca kayıp fonksiyonundaki kaldıraç etkisi yüksek aykırı değerleri cezalandırarak daha dayanıklı bir model oluşturan, sıra istatistik tabanlı arttırılmış kayıp fonksiyonunu alan yazına kazandırıyoruz. Son olarak, özellikle aykırı değer tespiti için geliştirilmiş bir erken durdurma algoritması öneriyoruz. Algoritmamızı görüntü ve kimyasal veri kümeleri üzerinde eğiterek, geleneksel otomatik kodlayıcılara göre kayda değer bir gelişim gösterdiğini ortaya koyuyoruz.
Özet (Çeviri)
Autoencoder networks are among the most popular deep learning methods for outlier detection. They work as an unsupervised algorithm that aims to reconstruct original instances through learning a lower dimensional feature space. An important problem with autoencoders is that due to their complexity, they can generalize to learn outliers just as well as normal instances. This is also exacerbated by the fact that outliers can act as points of leverage during training. In this work, we propose to solve this problem by introducing an order statistics based definition of an outlier. Using our definition we quantify the cut-off point between outliers and normal data in a new statistic. We discuss the proposed statistic and demonstrate its effectiveness through simulation studies. Furthermore, we use kneecap detection on our statistic to automatically find a cut-off point for outliers. We incorporate our statistic to autoencoder training and show that with our proposed statistic, autoencoder model no longer needs the percentage of anomalies as a priori to estimate the cut-off point. We also introduce an order statistics augmented loss function, which creates a more robust model by penalizing the leverage effect of outliers in the loss signal. Finally, we introduce an early stopping algorithm specifically for outlier detection. We show that training with our algorithms show a significant improvement when compared to conventional autoencoder training on image and chemical datasets.
Benzer Tezler
- Yaş ve kuru çayda, verim ve önemli kalite parametrelerine sarı çay akarı (Polyphagotarsonemus latus (Banks, 1904)) (Prostigmata: Tarsonemidae)'nın etkisi
Effect of yellow tea mite (Polyphagotarsonemus latus (Banks, 1904))(Prostigmata: Tarsonemidae) on yield and important quality parameters of fresh and dried tea
BİRSEN AŞIK ÇUHADAR
Yüksek Lisans
Türkçe
2015
ZiraatOrdu ÜniversitesiBahçe Bitkileri Ana Bilim Dalı
PROF. DR. SAİM ZEKİ BOSTAN
YRD. DOÇ. DR. RANA AKYAZI
- Elektrohidrolik bir sisteminin darbe eni modüleli kayan kipli kontrolü
Pulse width modulated sliding mode control of an electrohydraulic system
SALİH DEDEOĞLU
Yüksek Lisans
Türkçe
2015
Mekatronik MühendisliğiBozok ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İLHAMİ YİĞİT
- The transformation of higher education by means of techno-parks: Case of Turkey
Yüksek öğretimin dönüşümü: Teknoparklar-Türkiye örneği
GAMZE SART
Doktora
İngilizce
2013
Eğitim ve ÖğretimBoğaziçi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. FATMA GÖK
- Sanayi işletmelerinde üretim kayıplarının muhasebeleştirilmesi ve bir uygulama
Accounting of production losses in industrial businesses and an application
İLYAS YEŞİLYURT
Yüksek Lisans
Türkçe
2013
İşletmeKırıkkale Üniversitesiİşletme Ana Bilim Dalı
YRD. DOÇ. DR. CİHAT KARTAL
- Cerrahpaşa Tıp Fakültesi Yenidoğan Yoğun Bakım Ünitesi'nde izlenen prematüre bebeklerde retinopati risk faktörleri, sıklığı ve tedavi sonuçları
Risk factors, prevelance and outcomes of retinopathy of prematurity in neonatal intensive care unit of cerrahpasa medical faculty
SEZGİN ŞAHİN
Tıpta Uzmanlık
Türkçe
2014
Çocuk Sağlığı ve Hastalıklarıİstanbul ÜniversitesiÇocuk Sağlığı ve Hastalıkları Ana Bilim Dalı
PROF. DR. YILDIZ PERK