Geri Dön

Acoustic anomaly detection in industrial plants

Endüstriyel tesislerde akustik anomali tespiti

PDF İndir

  1. Tez No: 552689
  2. Yazar: TAHA BERKAY DUMAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ GÖKHAN İNCE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 77

Özet

Anomali tespiti, olağan dışı olayları olağan olaylardan ayırarak belirlemeyi amaçlar. Akıllı fabrikalar ve yeni nesil endüstriyel imalat bağlamında anomali olaylar, üretilen ürünlerin kalitesini, süreçlerin devamlılığını ve güvenilirliğini azaltabilir. Daha da kötüsü, anomaliler fabrikada endüstriyel makineleri kullanan kişilerin güvenliğini de tehlikeye atabilir. Bu gibi acil durumlar, tehlikeli hale gelmeden önce tespit edilmeli ve önlenmelidir. Bu nedenle, izleme sistemleri, acil durum koşullarını anında tespit etmek ve bir alarm sistemi olarak çalışmak durumundadır. Anomali tespit sistemleri, akustik veriler kullanılarak düşük işlem gücü gereksinimleriyle ve maliyetlerle tasarlanabilir. Bu amaçla konvolüsyonel otomatik kodlayıcılar (Convolutional Autoencoder: CAE) kullanılabilir. Bu yapılar görüntü verileri gibi spektrogramlara uygulandığında da anomali örüntülerini belirleyebilir. Bu çalışmada, 1) CAE'nin akustik anomali tespitinin performans değerlendirme çıktılarını öznitelik çıkarıcı olarak kullanan yeni bir mimari ve 2) endüstriyel tesisler için uçtan uca bir anomali algılayıcısı önerilmiştir. Fabrikalardaki endüstriyel süreçlerden elde edilen ses sinyalleriyle yeni bir veri kümesi oluşturulmuş ve Tek-Sınıf Destek Vektör Makinesi (One-Class Support Vector Machine: OCSVM) ile otomatik kodlayıcının performansları karşılaştırılarak, sistemin etkinliği gösterilmiştir. Öznitelikler ilk adımda, log-ölçekli Mel-spektrogram öznitelikleri Mel-bantları kullanılarak çıkarılmıştır. Konvolüsyonel katmanlardaki sabit boyutlu girdi ihtiyacı nedeniyle, öznitelikler çerçevelerden oluşan bölütlere ayrılmıştır. Bölüt öznitelikleri, sinir ağı için bir girdi oluşturmuştur. Bu spektrogram benzeri girdi, CAE ve CAE-OCSVM birleşik (karma) sistemine uygulanmıştır. Sadece OCSVM'den oluşan temel OCSVM yaklaşımı için, öznitelikler, çerçeve yapılı (matris) veri yerine vektör gösterimi gereğiyle, vektörlerle beslenmiştir. Anomaliler, CAE'nin girdi ve çıktı spektrogramları arasındaki Öklid mesafesini hesaplayarak tespit edilir. Mesafe değerleri kullanılarak, Alıcı Çalışma Karakteristiği (Receiver Operating Characteristic: ROC) eğrisi çizilir. Bu eğride her bir eşik değeri için, Youden'in endeksi, J, hesaplanıp, en yüksek J değerine sahip eşik değeri, sistemin eşik değeri olarak kullanılır. Youden endeksinin amacı, Doğru Pozitif Oranı (True Positive Rate: TPR) ile Yanlış Pozitif Oranı (False Positive Rate: FPR) arasındaki farkı maksimize etmektir. Böylece sistem, sınıflandırma doğruluğunu ve ayrılabilirlik oranını maksimize ederek eşiği ayarlayacaktır. Konvolüsyonel katmanlarda, düzleştirilmiş doğrusal birim (Rectified Linear Unit: ReLU) aktivasyon fonksiyonu kullanılmıştır. Girdi, öznitelik matrislerinden oluşur. Ağın sonunda, girdi spektrogramını yeniden yapılandırılır. Ayrıca çalışma kapsamında, Radyal Temelli Fonksiyon (Radial Basis Function: RBF) bazlı OCSVM uygulamasına da başvurulmuştur. Çekirdek katsayısı (gama) ve sınır parametresi (nu) için en iyi parametreler ızgara araması kullanarak bulunmuştur. Ayrıca CAE ve OCSVM'yi birleştirerek karma (birleşik) mimari elde edilmiştir. CAE'nin kodlayıcı parçası bir öznitelik çıkarıcı olarak kullanılmıştır. Ardından, kodlanmış bu özellikler modeli eğitmek ve sonuçları tahmin etmek için OCSVM'ye gönderilmiştir. Bu çalışmada Endüstriyel süreçler ve tesisler için yeni bir akustik veri kümesi oluşturulmuştur. Veri kümesi oluşturma işleminin iki ana adımı uygulanmıştır: -Veri toplama: Endüstriyel işlemlerle ilgili Youtube videolarından yüksek kalitede ses verileri çıkarılmıştır. -Veri düzenleme: Veri kümesindeki boş (sessiz), arka plan gürültüsü yüksek, hedef sesi bozan ve alakasız parçalar orijinal ses verilerinden çıkarılmıştır. Bu çalışma kapsamında, dört akustik veri kümesi oluşturulmuştur. Her anomali sınıfı için bir anomali sesi seçilmiştir: Patlama, Yangın, Cam Kırılması. Temizleme işlemlerinden sonra, anomali sesleri veri kümelerinin süresini aşıncaya kadar çoğaltılarak genişletilmiştir. Bu anormal sesler, belirli sinyal-gürültü oranlarında, normal seslerin anomali olarak nitelendirilebilmesi için, gürültü olarak eklenmiştir. Sistem akışında ilk olarak, çerçeve tabanlı öznitelikler çıkarılır. Eğitim aşamasında gözetimsiz öğrenme gerçekleştirildiğinden, eğitim için seçilen özniteliklerde herhangi bir değişiklik yapılmadan CAE veya OCSVM'ye gönderilir. Bu öznitelikler, sadece normal verileri içerir ve anomaliler mevcut değildir. Test aşaması için, test özniteliklerinin yarısı, anomali özellikleri olarak etiketlemek için seçilmiştir. Bu özniteliklere, bir anomali verisi olması için, anomali sesi eklenir. Sınıfların ayrılabilirliğinin derecesini belirlemek için, ROC-AUC (Alıcı Çalışma Karakteristik Eğrisi Altındaki Alan) skoru seçilmiştir. Böylelikle, tüm olası farklı eşik değerlerinde, modelin sınıflandırma ve ayırt etme performansı ölçülmüştür. F1-Skoru'na ise ikinci bir değerlendirme ölçütü olarak başvurulmuştur. F1-Skoru değeri, Youden'in ROC-AUC'deki endeksi ile belirlenen eşik değerinde ölçülmüştür. Endüstriyel boyama, kesme ve kaynak gibi 3 farklı endüstriyel veri kümesinde, {0,-10,-20} dB SNR değerlerinde, CAE'nin diğer yöntemlere göre daha üstün bir performans sergilediği ve OCSVM temelli yöntemlere göre anomalileri daha başarılı bir şekilde tespit edebildiği görülmektedir. CAE'nin, özellikle yalın OCSVM'e göre, açık ara farkla normal ve anomali durumlarını daha iyi ayırabildiği görülmektedir. Karma yapının, yalın OCSVM'in performansını artırdığı görülmekle birlikte, CAE'nin sonuçlarına daha yakın olduğu, ancak CAE'yi belirtilen SNR değerlerinde geçemediği görülmüştür. Genel olarak, 10 ve -30 dB SNR seviyelerinde, yöntemler arasında net bir fark gözlemlenmemektedir. Böylelikle, endüstriyel boyama, kesme ve kaynak yapılan uygulama ve ortamlarda, CAE'nin başarılı bir şekilde uygulanıp, standart ve geleneksel yöntemlere göre anomalileri daha yüksek bir oranla tespit edebildiği gösterilmiştir. Endüstriyel kol veri kümesinde, 0, -10, ve -20 dB SNR değerlerinde, cam kırılması dışındaki anomalilerde, en başarılı ayrımı karma yapı gerçekleştirmektedir. Karma yapının ardından, en iyi sonuçlar sırasıyla, OCSVM ve CAE ile alınmıştır. Bu veri kümesi özelinde CAE'nin diğer yöntemlere göre başarısız olmasının en önemli sebebinin, sinir ağları için büyük önem arz eden, veri kümesindeki verilerin az olması olduğu öngörülebilir. Ayrıca bir diğer sebep olarak, yukarıda bahsedilen diğer veri kümelerindeki gerçekleştirilen işlerin genel olarak benzer örüntüye sahip olmasına rağmen, bu veri kümesi özelindeki robotik kolların, farklı tür ve tiplerde olması, ayrıca farklı hareket örüntülerine sahip farklı işler yapması nedenleriyle olduğu düşünülmektedir. Bu gibi durumlarda ise, karma yapının daha uygun bir yöntem olduğu belirtilebilir. Endüstriyel boyama, kesme, kaynak ve kol veri kümelerinde, cam kırılması anomalisinin genel olarak, bütün anomali algılama yöntemleri tarafından belirgin bir şekilde, en çok tespit edilebilen ve en iyi ayırt edilebilen anomali ses verisine sahip olduğu söylenebilir. Patlama, yangın ve cam kırılması anomalilerinin spektrogramları incelendiğinde, cam kırılması anomalisinin, daha net bir şekilde ayrım yapılan bir karakteristiğe, daha belirgin bir örüntüye sahip olduğu ve bu örüntünün de diğerlerinin aksine spektrogtam içerisinde bütün frekanslara yayıldığı, yani ilgili çerçeve resimler içerisinde hemen hemen her alana dağıldığı görülebilir. Patlama ve yangın verilerinin ise, daha düşük frekanslarda yoğunlaştığı ve frekans yükseldikçe beyaz gürültü özelliği gösterip, yüksek frekanslarda ise etkisinin kaybolduğu söylenebilir. Bu sebeplerden ötürü, cam kırılması anomalisi, belirtilen diğer anomalilere oranla, daha iyi tespit edilebilmektedir. Endüstriyel boyama, kesme, kaynak ve kol veri kümelerinde gerçekleştirilen anomali tespit sonuçları karşılaştırıldığında, anomalilerin endüstriyel boyama veri kümesinde daha iyi tespit edilebildiği görülmektedir. Bunun sebebinin ise, endüstriyel boyama ses verilerinin, beyaz gürültüye çok yakın bir karakteristiğe sahip olduğu, ve spesifik bir şekilsel paterne sahip olmaması gösterilebilir. Beyaz gürültü benzeri bir spektrograma, ilgili gürültünün eklenmesi sonrasında, eklenen bu gürültü kolaylıkla tespit edilebilir. Endüstriyel kol veri kümesi için ise bunun tam tersi bir durum söz konusudur. En düşük anomali tespit başarımının, bu veri kümesinde elde edildiği gerçekleştirilen testlerde görülmüştür. Buna dayanarak, önerilen akustik anomali tespit sistemlerinin, endüstriyel boyama tesislerinde çok daha başarılı sonuçlar verebileceği öngörülebilir. Bu çalışmada, endüstriyel tesisler ve uygulamalar kapsamında kullanılabilecek, konvolüsyonel otomatik kodlayıcı (CAE) temelli uçtan uca bir akustik anomali tespit sistemi önerilmiştir. Sunulan algılayıcı sisteminin performansı, normal ve anomali ayrımı yapabilme yetenekleri farklı SNR değerlerinde, bu çalışma kapsamında oluşturulan çeşitli endüstriyel veri kümelerinde değerlendirilmiştir. Yapılan değerlendirmeler sonucunda, özellikle endüstriyel boyama, kesme ve kaynak işlemlerinin içerildiği veri kümelerinde, CAE'nin diğer yöntemlere göre daha başarılı olduğu tespit edilmiştir. Bunun yanında, endüstriyel kol seslerini içeren veri kümesinde ise, yine bu çalışmada sunulan kodlayıcı ve OCSVM'in birlikte kullanıldığı karma yapının daha başarılı sonuçlar verdiği gözlemlenmiştir. Sonuç olarak, önerilen CAE tabanlı akustik anomali algılayıcılarının, başarılı bir şekilde endüstriyel işlemlerin uygulandığı yerlerde kullanılabilirliği gösterilmiştir. Böylelikle akustik ses verilerindeki anormalliklerin tespit edilmesiyle beraber, acil durumların oluşumunun belirlenebileceği gösterilmiş ve bunu gerçekleştiren bir uyarı sistemi için de temel bir yapı oluşturulmuştur. Gelecek çalışmada, endüstriyel süreçlere ait olan normal ve anomali sesler toplanarak, veri kümesi genişletilecektir. Bu veri kümesi kullanılarak, sıralı akustik verilerindeki anomalileri tespit etmek için, sıralı AE'ler üzerinde çalışılacaktır.

Özet (Çeviri)

Detection of anomaly aims to determine unusual events by separating them from ordinary events. In the case of intelligent factories and new generation industrial manufacturing, anomalous events can reduce the quality of the products produced, the continuity and reliability of the processes. Even worse, anomalies could also jeopardize the safety of people using industrial machines at the factory. Such emergencies must be identified and prevented before they become dangerous. For this reason, monitoring systems must immediately detect emergency conditions and operate as an alarm system. In the industrial plants, detection of abnormal events during the processes is a difficult task for human operators who need to monitor the production. In this work, the main aim is to detect anomalies in the industrial processes by an intelligent, audio-based solution for the new generation of factories. Anomaly detection systems can be designed with low processing power requirement and cost by using acoustic data. For this purpose, convolutional automatic encoders (Convolutional Autoencoder: CAE) can be used. These structures can also determine anomaly patterns when they are applied to spectrograms such as image data. In this study, 1) a new architecture of CAE being used as a feature extractor in acoustic anomaly detection and 2) an end-to-end anomaly detector for industrial plants are proposed. A new data set was created with the audio signals from the industrial processes in the factories and the performance of the system was compared to the performances of the One-Class Support Vector Machine (OCSVM) and the automatic encoder. In the first step, the log-scaled Mel-Spectrogram attributes were extracted using Mel-bands. Due to the need for constant dimensional input in convolutional layers, the attributes are divided into sections frames. The segment attributes have been created as an entry for the neural network. This spectrogram-like input was applied to the CAE and CAE-OCSVM combined (combinational) system. For the basic OCSVM approach, consisting of only OCSVM, the system is fed by vector representation instead of frame structure (matrix) data. The anomalies are determined by calculating the Euclidean distance between the input and output spectrograms of the CAE. The receiver Operation Characteristic (ROC) curve is drawn using the distance values. For each threshold value in this curve, Youden's index, J, is calculated and the threshold value with the highest J is used as a threshold value of the system. The purpose of the Youden index is to maximize the difference between the True Positive Rate (TPR) and False Positive Rate (FPR). The system will then adjust the threshold by maximizing the classification accuracy and separability rate. In the convolutional layers, the Rectified Linear Unit (RELU) activation function was used. Input consists of attribute matrices. Also, the input spectrogram is reconfigured. In addition to autoencoder based approaches, Radial Based Function (RBF) based OCSVM application was used as a benchmark. The best parameters for core coefficient (gamma) and boundary parameter (nu) were found using the grid search. In addition, combined architecture was built by combining CAE and OCSVM. The coding part of the CAE was used as an attribute extractor. These encoded features were then sent to the OCSVM to train the model and estimate the results. In this research, a new industrial acoustic dataset has been created by gathering the audio data obtained from a number of videos of industrial processes, recorded in factories involving industrial tools and processes. Due to the fact that the anomalous events in real life are rather rare and the creation of these events is highly costly, anomaly event sounds are superimposed to regular factory soundscape by using different Signal-to-Noise Ratio (SNR) values. An anomaly sound is selected for each class of anomaly: Explosion, Fire, Glass Breaking. These abnormal noises were added to original sounds in the dataset as noise with specific SNRs to be able to qualify normal sounds as anomalies. First, frame-based attributes are extracted in the system stream. Since unsupervised learning is performed at the training stage, the features selected for training are sent to the CAE or OCSVM without any changes. These features contain only normal data and no anomalies exist. For the test phase, half of the test attributes were chosen to be labeled as anomaly characteristics. To create these anomaly sounds, an anomaly sound is added to these features. To show the effectiveness of the proposed system, the performances of the feature extraction and the AAD are evaluated. As a result of the separability and accuracy evaluations, it has been determined that CAE is more successful than other methods especially in the data sets containing industrial painting, cutting and welding processes. In addition, in the data set containing industrial arm sounds, it was observed combined system that is the combination of the encoder and OCSVM which is presented in this study yielded more successful results. The proposed CAE-based acoustic anomaly sensors have been shown to be successfully used where industrial processes are applied. Thus, with the detection of abnormalities in acoustic sound data, it has been shown that the occurrence of emergencies can be determined and a basic structure for such a warning system has been formed. To summarize, the results showed that CAE with the end-to-end strategy outperforms OCSVM while the respective results are close to the results of combined approach. In the future study, normal and anomaly sounds belonging to industrial processes will be collected from the real world and the data set will be expanded. Using this data set, sequential AEs will be studied to detect anomalies in sequential acoustic data.

Benzer Tezler

  1. Tez No

    815615

    Development of caliper sensors for in-line inspection devices for natural gas transmission lines

    Doğal gaz iletim hatlarına yönelik boru içi denetleme cihazları için kaliper sensörü geliştirilmesi

    BERKE OĞULCAN PARLAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Mekatronik MühendisliğiYıldız Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HÜSEYİN AYHAN YAVAŞOĞLU

  2. Tez No

    690414

    Akustik veriler ile esnek pervaneli pompalarda kestirimcibakım

    Predictive maintenance on flexible impeller pumps based on acoustic data

    CEREN ÇOKER TURAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. MEHMET AKAR

  3. Tez No

    709519

    İç kulak anomalilerinin saptanması ve sınıflandırılmasında radyolojik ölçümlerin önemi

    The importance of radiological measurements in detection and classification of inner ear anomalies

    ÖZLEM DEMİRCİOĞLU

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2010

    Radyoloji ve Nükleer TıpSağlık Bakanlığı

    Radyoloji Ana Bilim Dalı

    PROF. DR. BAKİ HEKİMOĞLU

  4. Tez No

    748699

    Dudak damak yarıklı bireylerin rezonans özellikleri ve akustik ses analizi sonuçları açısından değerlendirilmesi

    Assessment of results of acoustic voice analysis and resonance in individuals of cleft lip palate

    REYHAN KARAKUŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Kulak Burun ve BoğazGazi Üniversitesi

    Kulak Burun Boğaz Ana Bilim Dalı

    DOÇ. DR. RECEP KARAMERT

    DR. ŞADİYE BACIK TIRANK

  5. Tez No

    521563

    İnternal akustik kanal MR taramalarının incelemesi sonucu saptanan insidental bulgular

    Incidental findings on internal acoustic canal MRI scan

    NEBİL EKER

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2018

    Radyoloji ve Nükleer TıpÇanakkale Onsekiz Mart Üniversitesi

    Radyoloji Ana Bilim Dalı

    DOÇ. DR. OZAN KARATAĞ

Geri Dön