Real-time performance diagnosis and evaluation of big data systems in cloud datacenters
Bulut veri merkezlerinde büyük veri sistemlerinin gerçek zamanlı performans teşhisi ve değerlendirilmesi
- Tez No: 878162
- Danışmanlar: PROF. DR. RAJIV RANJAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Newcastle University
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
- Sayfa Sayısı: 151
Özet
Modern büyük veri işleme sistemleri, büyük ölçekli, yüksek eşzamanlılık ve çoklu yetenekler açısından çok karmaşık hale geliyor. Bu nedenle birçok hata ve performans düşüşü yalnızca çalışma zamanında meydana gelir ve yakalanması çok zordur. Üstelik bazı sorunlar yalnızca bazı bileşenler çalıştırıldığında tetiklenebilir. Bu tür sorunların temel nedenini analiz etmek için her bileşenin bağımlılıklarını gerçek zamanlı olarak yakalamamız gerekiyor. Hadoop ve Spark gibi büyük veri işleme sistemleri genellikle büyük ölçekli, yüksek düzeyde eş zamanlı ve çok kiracılı ortamlarda çalışarak donanım ve yazılım arızalarına veya arızalarına kolayca neden olabilir ve bu da performansın düşmesine neden olabilir. Büyük veri işleme sistemlerinin performans bozulmalarını tespit etmek, kök neden analizi yapmak ve hatta bu bozulmaya neden olan sorunların üstesinden gelmek için çeşitli sistem ve yöntemler mevcuttur. Ancak bu çözümler başıboş kalma ve verimsiz kaynak kullanımı gibi belirli sorunlara odaklanıyor. Büyük veri sistemlerinin gerçek zamanlı teşhisini destekleyecek genel ve genişletilebilir bir çerçevenin eksikliği söz konusudur. Büyük veri sistemlerinin performans teşhisi ve tahmini, bu çerçevelerin genellikle büyük ölçekli, yüksek oranda eş zamanlı olan ve çok kiracılı bir modeli takip eden bulut veri merkezlerinde konuşlandırılması nedeniyle oldukça karmaşıktır. Donanım heterojenliği, stokastik ağlar ve uygulama iş yükleri gibi çeşitli faktörler, büyük veri sistemlerinin performansını etkileyebilir. Mevcut teknoloji, bu faktörler arasındaki karmaşık, genellikle stokastik ve gizli ilişkilerin belirlenmesi sorununu yeterince ele almamaktadır. Bulut ortamlarındaki büyük veri sistemlerinin performans teşhisini ve değerlendirmesini ele almak için bu tez, etkili ve verimli bir dağıtım hattının yeni bir kombinasyonunu dahil ederek bulut tabanlı büyük ölçekli dağıtılmış sistemlerde izleme, performans teşhisi ve tahminine yönelik çok taraflı bir araştırma önermektedir. Bu tezin önemli katkıları aşağıda listelenmiştir: • SmartMonit adında, bilgi işlem kaynağı kullanımı ve iş yürütme bilgileri de dahil olmak üzere çalışma zamanı sistem bilgilerini verimli bir şekilde toplayan ve daha sonra toplanan bilgileri yönlendirilmiş döngüsel olmayan grafikler (DAG'ler) olarak modellenen Yürütme Grafiği ile etkileşime sokan gerçek zamanlı bir büyük veri izleme sisteminin tasarlanması. • Büyük veri sistemleri için otomatikleştirilmiş, gerçek zamanlı bir teşhis çerçevesi olan, performans düşüşünü ve verimsiz kaynak kullanımı sorunlarını otomatik olarak tespit eden ve büyük veri sistemi için çevrimiçi tespit ve yarı çevrimiçi kök neden analizi sağlayan AutoDiagn'ın geliştirilmesi. • Performansla ilgili faktörler arasındaki belirsiz ve karmaşık ilişkileri belirlemek için Bayes ağlarını dahil ederek büyük veri uygulamalarının performansını analiz eden ve karakterize eden, büyük veri sistemleri için BigPerf adı verilen yeni bir kök neden analizi tekniği/sistemi tasarlamak.
Özet (Çeviri)
Modern big data processing systems are becoming very complex in terms of large-scale, high-concurrency and multiple talents. Thus, many failures and performance reductions only happen at run-time and are very difficult to capture. Moreover, some issues may only be triggered when some components are executed. To analyze the root cause of these types of issues, we have to capture the dependencies of each component in real-time. Big data processing systems, such as Hadoop and Spark, usually work in large-scale, highly-concurrent, and multi-tenant environments that can easily cause hardware and software malfunctions or failures, thereby leading to performance degradation. Several systems and methods exist to detect big data processing systems' performance degradation, perform root-cause analysis, and even overcome the issues causing such degradation. However, these solutions focus on specific problems such as stragglers and inefficient resource utilization. There is a lack of a generic and extensible framework to support the real-time diagnosis of big data systems. Performance diagnosis and prediction of big data systems are highly complex as these frameworks are typically deployed in cloud data centers that are large-scale, highly concurrent, and follows a multi-tenant model. Several factors, including hardware heterogeneity, stochastic networks and application workloads may impact the performance of big data systems. The current state-of-the-art does not sufficiently address the challenge of determining complex, usually stochastic and hidden relationships between these factors. To handle performance diagnosis and evaluation of big data systems in cloud environments, this thesis proposes multilateral research towards monitoring and performance diagnosis and prediction in cloud-based large-scale distributed systems by involving a novel combination of an effective and efficient deployment pipeline. The key contributions of this dissertation are listed below: • Designing a real-time big data monitoring system called SmartMonit that efficiently collects the runtime system information including computing resource utilization and job execution information and then interacts the collected information with the Execution Graph modeled as directed acyclic graphs (DAGs). • Developing AutoDiagn, an automated real-time diagnosis framework for big data systems, that automatically detects performance degradation and inefficient resource utilization problems, while providing an online detection and semi-online root-cause analysis for a big data system. • Designing a novel root-cause analysis technique/system called BigPerf for big data systems that analyzes and characterizes the performance of big data applications by incorporating Bayesian networks to determine uncertain and complex relationships between performance related factors.
Benzer Tezler
- Eğitimde veriye dayalı yönetim uygulamalarının değerlendirilmesi
The evaluation of data driven management applications in education
AYHAN DUYKULUOĞLU
Doktora
Türkçe
2022
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NECATİ CEMALOĞLU
- İklimlendirme sistemleri üzerinde makine öğrenmesi ile anomali tespiti
Anomaly detection with machine learning on air conditioning systems
REFİK KİBAR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMED FATİH ADAK
DR. ÖĞR. ÜYESİ KEVSER OVAZ AKPINAR
- Vestibüler sistem kaynaklı rahatsızlıkların kuvvet algılayıcıları tabanlı analizi
Force sensor based analysis of vestibular system disorders
TUNAY ÇAKAR
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERHAT İKİZOĞLU
- Dermatofitlerin çabuk tanısında (Gaca)4, Its1 ve Its2 bölgelerini hedef alan primerlerin etkinliğinin karşılaştırılması
Comparison of efficiency of (Gaca)4 and primers targeting Its1-Its2 regions in rapid identification of dermatophytes
TUBA YÜKSEL
Yüksek Lisans
Türkçe
2011
MikrobiyolojiÇukurova ÜniversitesiMikrobiyoloji Ana Bilim Dalı
PROF. DR. MACİT İLKİT
- Hizmet sektöründe performans odaklı çok amaçlı karar verme: Banka performans ölçümünde analitik hiyerarşi süreci uygulaması
Performance-based multiple objective decision making in service sector: Analytical hierarchy application in banking performance evaluation
YILDIZ ESRA ALBAYRAK
Doktora
Türkçe
2004
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF.DR. HALUK ERKUT