IoT tabanlı çok değişkenli zaman serilerinde transformer ağı kullanarak anomali tespiti
Anomaly detection in IoT-based multivariate time-series using transformer network
- Tez No: 868233
- Danışmanlar: DR. ÖĞR. ÜYESİ FEYZA YILDIRIM OKAY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 83
Özet
Son yıllarda, Nesnelerin İnterneti (Internet of Things / IoT) cihazlarının yaygınlaşmasıyla otomatik sanayileşme teknolojilerinde bir artışa tanık olunmuş; bu da, çok değişkenli özelliklerle karakterize edilen zaman serisi verilerinin başta olmak üzere büyük miktarda verinin üretilmesine yol açmıştır. Çok değişkenli zaman serisi verilerinde anomali tespiti, normal veri trendlerinden sapmaların tanımlanmasını gerektiren kuruluşlar için önemli bir zorluk teşkil etmektedir. Derin öğrenme algoritmaları bu tür sorunların çözümünde üstün performans göstermiştir. Derin öğrenmede son zamanlardaki bir gelişme olan Transformer Ağları, günümüz teknolojileri ürünü bir model olarak ortaya çıkmıştır. Ancak Transformerlerin karşılaştığı en büyük kısıtlık, bir dizi içindeki her veri noktasının kesin konumunu doğru bir şekilde belirlemektir. Bu zorluğun üstesinden gelmek için, Transformer'ın geliştiricileri tarafından ek bir bileşen olarak Konumsal Kodlama (Positional Encoding / PE) tanıtılmıştır. Mutlak (Absolute) PE ilk olarak 2017 yılında Transformer mimarisinin bir parçası olarak önerilmiş olsa da, Döner (Rotary) PE ve Göreceli (Relative) PE, Absolute PE'yi geliştirmek için doğal dil işlemlerin'de alternatif olarak kullanılmaktadır. Ancak bunların arasından hangisinin zaman serisi anomali tespiti için en uygun seçim olduğu belirsizliğini korumaktadır. Bu çalışma, çok değişkenli zaman serisi anomali tespiti sorununa odaklanarak, Absolute PE, Rotary PE, ayrıca Relative PE'nin çeşitli versiyonlarını (Representative attention, Global attention ve XL-attention) hem performans hem de eğitim süresi açısından araştırmayı amaçlamaktadır. 8'den 128'e kadar değişen dizi uzunlukları üzerinden yapılan değerlendirme, Rotary PE'nin hem kısa hem de uzun diziler için daha hızlı eğitim süreleri sergilediğini ve ardından Absolute PE'nin geldiğini göstermektedir. Özellikle, Representative attention kısa dizilerde üstün performans sergilerken, Global attention, metrik değerlerine göre uzun dizilerde öne çıkıyor ve zaman serisi veri analizinde Transformer modellerinin oluşturulurken en uygun stratejilere ilişkin içgörüler sağlamaktadır.
Özet (Çeviri)
In recent years, there has been an increase in the automation of industrial technologies due to the proliferation of Internet of Things devices; this has led to the generation of large amounts of data, particularly time series data characterized by highly variable features. Detecting anomalies in multivariate time series data poses a significant challenge for organizations as it requires identifying deviations from normal data trends. Deep learning algorithms have demonstrated superior performance in addressing such issues. Transformer neural networks, a recent advancement in deep learning, have emerged as state-of-the-art models. However, the main limitation faced by Transformers is accurately determining the precise position of each data point within a sequence. To overcome this challenge, developers of Transformers introduced Positional Encoding (PE) as an additional component. Although Absolute PE was initially proposed as part of the Transformer architecture in 2017, Rotary PE and Relative PE are also being utilized as alternatives in NLP to enhance Absolute PE. However, uncertainty remains regarding which of these is the most suitable choice for detecting anomalies in time series data. This study aims to investigate Absolute PE, Rotary PE, as well as various versions of Relative PE (Representative attention, Global attention, and XL-attention) in terms of both performance and training time, focusing on the problem of multivariate time series anomaly detection. Evaluation conducted on sequence lengths ranging from 8 to 128 indicates that Rotary PE exhibits faster training times for both short and long sequences, followed by Absolute PE. Particularly, Representative attention demonstrates superior performance in short sequences, while Global attention stands out for long sequences based on metric values, providing insights into the most suitable strategies for creating Transformer models in time series data analysis.
Benzer Tezler
- Machine learning based multi-scale joint forecasting-scheduling for the internet of things
Nesnelerin interneti için makine öğrenmesi tabanlı çok ölçekli bütünleşik tahminleme-çizelgeleme
MERT NAKIP
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik MühendisliğiYaşar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN RODOPLU
PROF. DR. CÜNEYT GÜZELİŞ
- Isıtma sezonuna ait gerçek zamanlı ölçümler ve kullanıcıdavranışlarına dayalı saatlik hava kalitesi, ısıtma ve soğutma yüklerinin simülasyonu
Hourly heating and cooling load simulator based on real-time measurements and user behaviors of the heating season
KORAY MAVİŞ
Yüksek Lisans
Türkçe
2023
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
PROF. DR. HATİCE SÖZER
- Building sensor-based real-time predictive maintenance system by utilizing artificial intelligent techniques
Yapay akıllı teknikleri kullanarak sensör tabanlı gerçek zaman tahminli bakım sistemi kurulması
RAGHAD MOHAMMED KHORSHEED
Doktora
İngilizce
2021
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA
- Networked computing-based system identification and control of electromechanical systems with industrial IoT
Endüstriyel IoT ile elektromekanik sistemlerin ağ hesaplama tabanlı sistem tanıma ve kontrolü
RAMAZAN KAYA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ FUAT ERGENÇ
- The performance evaluation of ai based resource allocation algorithms for donwlink NOMA systems
Aşağı yönlü NOMA sistemlerinde yapay zeka tabanlı kaynak tahsis algoritmalarının performans analizi
EDA KURT KARAKUŞ
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN