Geri Dön

Core network anomaly detection using the LSTM model and comparison with various unsupervised learning methods

Telekomünikasyon merkezi şebekelerinde LSTM model ile anomali tespiti ve bazı denetimsiz öğrenme metotları ile kıyaslanması

PDF İndir

  1. Tez No: 949054
  2. Yazar: SAMED ÇALIK
  3. Danışmanlar: DR. ÖĞR. ÜYESİ MEHMET ALİ ERGÜN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Büyük Veri ve İş Analitiği Ana Bilim Dalı
  12. Bilim Dalı: Büyük Veri ve İş Analitiği Bilim Dalı
  13. Sayfa Sayısı: 79

Özet

Bu çalışmanın temel amacı, telekomünikasyon çekirdek şebekelerinde kritik rol oynayan IMS (IP Multimedia Subsystem) altyapısındaki anomalileri, modern makine öğrenmesi tekniklerinden biri olan LSTM modeliyle tespit etmek ve bu modelin performansını çeşitli denetimsiz öğrenme yöntemleriyle karşılaştırarak değerlendirmektir. Çekirdek şebekeler, ses, veri ve multimedya trafiğinin yönlendirildiği, abonelere bu servislerin yanı sıra birçok katma değerli hizmetin sunulduğu, telekomünikasyon sistemlerinin merkezinde yer alan yapılardır. Bu şebekeler, ilgili hizmetleri sağlamak amacıyla özelleşmiş çok sayıda şebeke fonksiyonunu barındırmaktadır. Teknolojik gelişmeler ve mobil ağlarda nesiller arası geçişler (2G → 3G → 4G → 5G) ile birlikte, çekirdek şebekelerde bulunan ve yönetilmesi gereken fonksiyonların sayısı hızla artmıştır. Ayrıca, geleneksel donanım bağımlı sistemlerden sanallaştırılmış altyapılara, oradan da konteyner tabanlı mikroservis mimarilerine geçilmesiyle, onlarca değil, artık yüzlerce hatta binlerce sanal sistemin yönetilmesi gereken bir yapı haline gelmiştir. Bu durum, sistemlerdeki anomalilerin manuel veya geleneksel yöntemlerle izlenmesini ve tespit edilmesini oldukça güçleştirmiştir. IMS, 4G ve 5G teknolojilerinde sesli aramalar, video görüşmeler ve kısa mesaj servisleri (SMS) gibi kritik servisler ile birlikte bir çok gelişmiş ses ve multimedya servislerini sağlayan ve yöneten bir sistemdir. Bu teknoloji, kendi içerisinde P-CSCF, S-CSCF ve TAS gibi farklı şebeke fonksiyonlarını barındırmaktadır. Bu sistemler hizmet sunarken, yüzlerce farklı performans göstergesi (KPI), sayaç (counter) ve donanıma ilişkin veri (CPU, bellek vb.) üretmektedir. Bu büyük veri yığını, doğru analiz edildiğinde yüksek operasyonel değer sunma potansiyeline sahiptir. Bu verilerden elde edilmesi hedeflenen en önemli çıktılardan biri de şebekede meydana gelen anomalilerin erken ve doğru biçimde tespit edilmesidir. Şebekenin herhangi bir yerinde oluşan anomaliler, aboneleri doğrudan etkileyerek kritik hizmet kesintilerine ve geniş çaplı müşteri şikayetlerine neden olabilmektedir. Bu anomalilerin mümkün olan en erken aşamada tespit edilmesi, sorun büyümeden ve yayılmadan müdahale edilmesini sağlamak açısından hayati öneme sahiptir. Geleneksel eşik değer (threshold-based) veya kural tabanlı (rule-based) anomali tespit yöntemleri, günümüzde yüzlerce sanal makinenin çalıştığı büyük ve karmaşık şebekelerde yetersiz kalmaktadır. Bu nedenle, şebeke güvenilirliğini ve servis sürekliliğini sağlamak adına gelişmiş makine öğrenmesi yöntemlerinin kullanımına ihtiyaç duyulmaktadır. Makine öğrenmesi yöntemleri genel olarak denetimli (supervised), denetimsiz (unsupervised) ve yarı denetimli (semi-supervised) öğrenme olmak üzere üç ana başlık altında incelenmektedir. Telekomünikasyon şebekelerinde anomalilerin nadiren görülmesi, denetimli öğrenme algoritmalarının etkin şekilde eğitilmesi için gerekli olan etiketli verinin teminini zorlaştırmaktadır. Bu sebeple, bu tür uygulamalar için denetimsiz ya da yarı denetimli öğrenme yöntemlerini kullanmak daha anlamlı sonuçlar ortaya çıkarmaktadır. Bu çalışmada, zaman serisi veriler üzerinde güçlü performans sergilediği literatürde kanıtlanmış olan LSTM modeli temel alınmıştır. LSTM, tekrarlayan sinir ağı (RNN) yapısında olup, bellek hücreleri (memory cells) ve geçit mekanizmaları (gating mechanisms) sayesinde uzun vadeli bağımlılıkları öğrenebilme yeteneğine sahiptir. Bu özelliğiyle, zamana bağlı veriler üzerinde anomali tespiti için oldukça elverişli bir modeldir. LSTM modeline ek olarak, bu çalışmada beş farklı denetimsiz öğrenme algoritması da test edilmiş ve LSTM metodu ile karşılaştırmalı bir analiz yapılmıştır. Kullanılan modeller şunlardır: •Graph-Based (Grafik Tabanlı Anomali Tespiti) •DBSCAN (Yoğunluk Tabanlı Kümeleme Algoritması) •LOF (Yerel Aykırılık Faktörü) •Z-Score •Isolation Forest (İzolasyon Ormanı Algoritması - IF) Model performanslarını daha iyi anlayabilmek adına hem basit hem de karmaşık anomali senaryoları içeren farklı veri kümeleri üzerinde testler gerçekleştirilmiştir. Bu testlerle, modellerin yalnızca ani sapmalara karşı değil, aynı zamanda zamanla gelişen, korelasyon içeren veya gözle fark edilmesi zor olan karmaşık anomali türlerine karşı da ne ölçüde başarılı olduğu incelenmiştir. Veri olarak, IMS altyapısında önemli bir rol oynayan P-CSCF fonksiyonu üzerinden alınan BHCA (Yoğun Saatte Çağrı Başlatma Sayısı) ölçümleri kullanılmıştır. Bu KPI'ın tercih edilme sebebi, tamamen çağrı trafiğiyle ilgili olması ve şebeke davranışındaki değişiklikleri hassas biçimde yansıtabilmesidir. Alternatif olarak çağrı başarı oranı, anlık çağrı sayısı gibi yine benzer etkileri gösterebilecek başka metrikler de kullanılabilir. Şebeke anomali tespitinde uygulama ya da donanım seviyesinde CPU, Memory, Disk kullanım yüzdeleri de oldukça sık kullanılan verilerdir. Ancak yaşanan sorunlar eğer bu yapılardan kaynaklanmıyorsa ya da buralara doğrudan etkisi bulunmuyorsa şebekedeki tüm anomalileri bu verilerden tespit etmek mümkün olmayacaktır. Bu sebepten yukarıda paylaşılan çağrı akışları ile ilgili ölçümleri kullanmak daha sağlıklı olmaktadır. Bu çalışmada, modellerin farklı data ve anomali çeşitlerine göre performansını anlamak adına 3 farklı dataset kullanılmıştır. 5 dakikalık aralıklarla yapılan ölçümlerden oluşan ham verinin kullanıldığı dataset-1 ve dataset-2'nin temel farkı, birincisinin yüksek sapmalı ve bariz anomaliler içermesi, ikincisinin ise düşük sapmalı ve çok değişkenli karmaşık anomalileri içermesidir. Dataset-3 ise günlük maksimum değerlerinin alınması ile oluşan ve daha basit, gözle görülür anomaliler içeren çok daha kısa datadan oluşmaktadır. Model performansları; kesinlik (precision), duyarlılık (recall), bu iki değerden oluşan eğrinin altında kalan alan (AU PRC) ve F1 skoru gibi yaygın değerlendirme metrikleriyle ölçülmüş; sonuçlar yalnızca sayısal olarak değil, iletişim matrisi (communication matrix) ve kesinlik-duyarlılık eğrisi (PRC) gibi görselleştirme teknikleriyle de zenginleştirilmiş, aynı zamanda uygulama senaryoları açısından da yorumlanmıştır. Elde edilen bulgular, LSTM modelinin eğitim süreci ve yüksek hesaplama maliyetine rağmen, özellikle karmaşık ve kısa süreli anomalilerinin tespitinde denetimsiz anomali tespit yöntemlerine göre daha başarılı sonuçlar ortaya çıkardığını göstermektedir. DBSCAN ve Graph-Based gibi bazı denetimsiz yöntemler de özellikle belirgin yapısal anomalilerin tespitinde başarılı sonuçlar üretmiştir; ancak kısa süreli ve daha gizli kalan anomalilerin tespitinde LSTM kadar etkili olamamıştır. Bu yöntemlerin başarısı, büyük ölçüde doğru hiper parametre ayarlamalarına bağlı olduğundan, veri setine göre performanslarında değişkenlik gözlemlenmiştir. LOF, Z-Score ve Isolation Forest gibi yöntemler ise sadece daha basit, açıkça aykırı verilerin tespitinde başarılı olmuş; fakat karmaşık veya kısa süreli gelişen anomaliler karşısında yetersiz kalmıştır. Bütün bu çalışmalara ek olarak, yapılan uygulama hassasiyet analizi, LSTM modelinin kararlarında en etkili olan uygulamaları ortaya koyarak modelin yorumlanabilirliğini artırmıştır. Bir diğer önemli bulgu ise LSTM modelinin operasyonel alarm sistemlerinden çok daha önce kritik bir anomaliyi tespit edebilmiş olmasıdır. Bu durum, modelin gerçek zamanlı erken uyarı sistemi olarak kullanılabilirliğini göstermektedir. Özetle, bu çalışmada IMS şebekelerinde oluşan veriler üzerinde uygulanan makine öğrenmesi temelli anomali tespiti yöntemleri detaylı bir şekilde incelenmiş ve özellikle zaman bağımlı ve karmaşık anomalilerin tespitinde LSTM modelinin üstünlükleri ortaya koyulmuştur. Her ne kadar bu model daha yüksek hesaplama maliyeti ve eğitim süresi gerektirse de, sağladığı doğruluk ve esneklik, kritik şebeke sistemlerinde kullanımı açısından önemli avantajlar sunmaktadır. Ayrıca, bu model şebekedeki potansiyel kesintileri önceden öngörme fırsatı sunmaktadır. Diğer taraftan, denetimsiz öğrenme yöntemleri etiketli veri gerektirmemeleri ve hızlı uygulanabilirlikleri açısından pratik faydalar sağlamaktadır; ancak bu yöntemlerin başarıları büyük ölçüde veri yapısına ve hiper parametre ayarlarına bağlıdır. Çalışma kapsamında, tüm yöntemlerin güçlü ve zayıf yönleri karşılaştırmalı olarak değerlendirilmiş; doğruluk, duyarlılık, F1 skoru gibi performans metrikleriyle desteklenerek analiz edilmiştir. Bu tez, hem operatörlerin şebeke yönetimi için doğru model seçimini desteklemekte hem de hibrit modellerin geliştirilmesi veya zaman serisi temelli alternatif yaklaşımların araştırılması için bir referans niteliği taşımaktadır.

Özet (Çeviri)

This thesis investigates anomaly detection within the IMS infrastructure, a critical component of the core network in modern telecommunication systems. The goal is to investigate the performance of the LSTM model, a type of recurrent neural network (RNN), and to compare it with various unsupervised learning techniques for identifying abnormal patterns and behaviors in time series data generated by IMS services. The core network is the backbone of modern telecommunications, responsible for routing voice, data and multimedia services. With the advent of 4G and 5G technologies, the role of the core network has expanded to include more advanced capabilities and support an increasing variety of services. Within this network, IMS enables critical services such as VoLTE, video calls and SMS, and comprises multiple components including P-CSCF, S-CSCF and TAS. These functions generate large amounts of data, including KPIs, counters, CPU and memory usage statistics. Extracting value from this data is critical to maintaining network health, and anomaly detection remains one of the most effective approaches to achieving this. Anomalies in such networks can be caused by hardware failures, software bugs, configuration errors or unexpected traffic surges. Regardless of the cause, anomalies typically appear as sudden or gradual deviations in these indicators. If left undetected, these anomalies can lead to severe service degradation or outages, directly impacting customer satisfaction. Accurate identification of anomalies, ideally before they escalate, is therefore critical to proactive maintenance and the assurance of seamless communication services. Traditional approaches to anomaly detection in telecom networks, such as rule-based or threshold-based systems, are no longer sufficient. These methods lack scalability and adaptability in environments where network behavior is constantly changing. As networks become increasingly virtualized and based, on microservices and containers, the complexity of monitoring and managing these infrastructures requires more intelligent and data-driven solutions. In such context, machine learning-based anomaly detection techniques offer a promising alternative due to their ability to learn patterns from data without predefined rules. This thesis primarily explores the use of LSTM models for anomaly detection in IMS time series data. LSTM models are particularly well suited for this task due to their ability to model sequential data and learn long-term dependencies. Their internal architecture of memory cells and gating mechanisms allows them to retain relevant historical context, which is critical for identifying subtle temporal anomalies that span multiple data points. The LSTM model is trained using historical KPI and counter data from IMS services, and its predictions are compared with actual observations to detect anomalous behavior based on prediction error thresholds. To improve the model's performance and adaptability, structured hyperparameter tuning was applied, including adjustments to dropout rates, sequence lengths, and hidden layer sizes across different datasets. In addition to LSTM, this thesis also evaluates five unsupervised models for comparison: Graph Based Detection, DBSCAN, LOF, Z-Score and Isolation Forest (IF). These models are tested on three datasets, ranging from granular 5-minute interval data with complex patterns to daily aggregated maximum values with clearer anomalies, to assess their ability to detect different types of anomalies in varying network conditions. Since these methods do not require labeled data, they are advantageous in real-world network environments where anomaly labels are often unavailable or difficult to define. Model evaluation is conducted using standard performance metrics: precision, recall, F1-score and area under PRC. Visual tools such as confusion matrices and precision-recall curves are also used to support interpretation. Based on the experimental results, the LSTM model demonstrates superior performance, particularly in detection of time-dependent and complex anomalies. Its predictive structure enables more accurate modeling of normal behavior, resulting in more sensitive detection of subtle anomalies. However, this comes with the cost of longer training times and higher computational requirements. Among the unsupervised models, Graph-Based Detection and DBSCAN provided relatively strong performance, especially when anomalies exhibited structural or density-based separations. However, their effectiveness was highly sensitive to hyperparameter choices such as distance thresholds and clustering radius. While LOF, Z-Score, and Isolation Forest are computationally lightweight and easy to implement, they struggle with temporally dynamic or complex anomalies. Their effectiveness is typically limited to clearly defined outliers rather than nuanced deviations across multiple features. Additionally, a feature sensitivity analysis revealed which application-level metrics contributed most to the model's decisions, providing insights into input significance. Another valuable result is that the LSTM model detected a major anomaly long before congestion alarms were triggered by the operational monitoring system, demonstrating its practical utility for early warning in live network environments. In conclusion, this study suggests that while some unsupervised learning techniques may be useful under certain conditions, particularly where real-time training is not feasible or data is unlabeled, the LSTM model, despite its computational cost, offers a more powerful and flexible approach to anomaly detection in core network environments such as IMS. Its ability to model complex temporal relationships makes it particularly valuable for operators seeking to maintain high service availability and respond quickly to emerging network problems. Moreover, the use of the LSTM model facilitates earlier detection of potential network outages. These findings collectively demonstrate the operational value and future potential of deep learning approaches in intelligent telecom network monitoring. The results contribute to the growing body of research in intelligent network monitoring and provide a comparative perspective on the trade-offs between deep learning and traditional unsupervised approaches in this domain. For future studies, these approaches could be extended to different core network functions, additional KPIs, and predictive use cases such as early warning systems or root cause analysis.

Benzer Tezler

  1. Tez No

    949440

    Test verilerine dayalı, makine öğrenmesi ve derin öğrenme yöntemleri ile batarya sağlık durumu tahmini

    Battery state of health estimation based on test data using machine learning and deep learning methods

    MEHMET ALİ ARSLANTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. FİKRET ÇALIŞKAN

  2. Tez No

    654134

    Payload-based network intrusion detection using LSTM autoencoders

    LSTM özkodlayıcılar ile ağ yükü tabanlı ihlal tespiti

    SELİN COŞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. SÜLEYMAN SERDAR KOZAT

  3. Tez No

    836936

    Makine öğrenmesi algoritmalarının hibrit yaklaşımı ile ağ anomalisi tespiti

    Network anomaly detection with a hybrid approach of machine learning algorthms

    FEYZA ÖZGER

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Uygulamalı Bilimler Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HALİT ÖZTEKİN

  4. Tez No

    919942

    Makine öğrenme temelli kestirimci bakım ve anomali tespiti ile asansörlerin kondisyonlarının izlenmesi

    Monitoring the conditions of elevators with machine learning based predictive maintenance and anomaly detection

    SAFA ÖZDEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Mekatronik MühendisliğiKarabük Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. RAİF BAYIR

  5. Tez No

    552689

    Acoustic anomaly detection in industrial plants

    Endüstriyel tesislerde akustik anomali tespiti

    TAHA BERKAY DUMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ GÖKHAN İNCE

Geri Dön