Log analysis of a large scale network by using Elastic Stack
Elastic Stack kullanılarak büyük ölçekli bir ağın log analizi
- Tez No: 617364
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA YENİAD
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 109
Özet
Teknoloji araçlarının artışıyla veriye erişim kolaylaşmış ve internet kullanımı önemli ölçüde artmıştır. İnternet kullanımındaki bu büyük artış, yönetilmesi ve analiz edilmesi oldukça zor olan büyük log dosyalarının üretilmesine neden olmuştur. GrayLog, Nagios, Elastic Stack gibi ağ izleme araçları, log verisinin kapsamını daraltarak kritik verilerin ayıklanmasını kolaylaştırmaktadır. Çalışmamızda Elasticsearch bileşeninin sağladığı büyük veri performansı ve Kibana arayüzünün sağladığı zengin görseller sebebiyle Elastic Stack platformunu tercih ettik. Çalışmamızda kullandığımız veri uygulama katmanı seviyesinde analiz yapmayı sağlayan, DNS, FTP, HTTP, SSL, SSH logları içeren, üretilmiş bir intrusion detection system verisidir. Tezin ilk fazında logstash filtreleme yöntemleriyle, her bir log dosyası için bir index oluşturacak şekilde log verilerini Elasticsearch ortamına aktardık. Kibana arayüzünde, log dosyaları içerisindeki alanlara göre gruplama ve filtreleme yapan, istatistik oluşturan, zaman bazlı izleme yapmayı sağlayan sorguları pie bar, metric, table, timeline grafikleriyle görselleştirdik ve eş zamanlı izlenebilecek dashboardlar ürettik. Tezin ikinci fazında ise, MongoDB ve SQLite veritabanında aynı sorguları üreterek Elasticsearch ile performans karşılaştırması yapmayı amaçladık. Log verilerinde sayma, filtreleme ve gruplama yapan sorguları, her üç platform üzerinde 100 kez tekrarlayarak ortalama değerleri karşılaştırdık. Farklı boyutlardaki log dosyaları üzerinde yapılan analizlerde, veri boyutu arttıkça Elasticsearch'ün okuma hızının MongoDB'ye göre çok daha yüksek performans sağladığı sonucunu elde ettik. Tüm sorguları ele aldığımızda, Elasticsearch 100 ms'nin altında gecikme üretmiştir. MongoDB'nin veriyi yazmada daha yüksek performans gösterdiğini, ancak veriyi filtreleme ve gruplamada geleneksel SQL veritabanı sorgularına yakın sonuçlar ürettiğini gözlemledik.
Özet (Çeviri)
With the increase in technology tools, access to data has become easier and internet usage has increased significantly. This huge increase in internet usage has resulted in the generation of large log files that are very difficult to manage and analyze. Network monitoring tools such as GrayLog, Nagios, Elastic Stack make it easier to extract critical data by narrowing the scope of log data. We have preferred the Elastic Stack platform because of the huge data performance of the Elasticsearch component and the rich visuals of the Kibana interface. The data we use in our study is an intrusion detection system data which enables the application layer level analysis, DNS, FTP, HTTP, SSL, SSH logs. In the first phase of the thesis, we have transferred log data to Elasticsearch environment with logstash parsing methods to create an index for each log file. Afterwards, we have visualized the queries that make grouping and filtering according to the fields in the log files, creating statistics, providing time-based tracking with pie bar, metric, table and timeline graphs and produced dashboards that can be monitored simultaneously. In the second phase of the thesis, we have aimed to compare performance with Elasticsearch by generating the same queries in MongoDB and SQLite database. We compared the average values by repeating the log data counting, filtering and grouping queries 100 times on all three platforms. In the analysis of log files of different sizes, we found that the higher the data size, the faster the reading speed of Elasticsearch compared to MongoDB. When we consider all queries, Elasticsearch generated a delay of less than 100 ms for all queries. We have observed that MongoDB performs better in writing data, but produces results similar to traditional SQL database queries in filtering and grouping data.
Benzer Tezler
- A review and evaluation of development in exploration, production, reserves estimation, and research efforts for shale gas and oil
Şeyl gazı ve petrolü için arama, üretim, rezerv kestirimive araştırma çalışmalarının incelenmesi ve değerlendirilmesi
OSMAN MOHAMMED
Yüksek Lisans
İngilizce
2015
Petrol ve Doğal Gaz Mühendisliğiİstanbul Teknik ÜniversitesiPetrol ve Doğal Gaz Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. İBRAHİM METİN MIHÇAKAN
- Efficient analysis of large-scale social networks using big-data platforms
Büyük ölçekli sosyal ağların büyük veri platformu kullanarak etkin analizi
HİDAYET AKSU
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM KÖRPEOĞLU
- Behavior analysis based protest event detection
Davranış analizi tabanlı peotesto olayları tespiti
MAHMOUD HUSSEIN ZADEH
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. İLYAS ÇİÇEKLİ
- CBS ve uzaktan algılama ile taşkın duyarlılık analizi; Batı Karadeniz örneği
Flood susceptibility analysis with GIS and remote sensing; the case of the West Black sea
CEYDA MIZRAKLI
Yüksek Lisans
Türkçe
2023
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
DOÇ. DR. FİLİZ BEKTAŞ BALÇIK