Analysis and evaluation of big data clusters in different cloud computing environments
Büyük veri kümelerinin farklı bulut bilişim ortamlarında analizleri ve değerlendirilmesi
- Tez No: 652605
- Danışmanlar: PROF. DR. AHMET ERCAN TOPCU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: NoSQL, bulut bilişim, MongoDB, Riak KV, büyük veri, küme, YCSB, NoSQL, cloud computing, MongoDB, Riak KV, big data, cluster, YCSB, Basho-bench
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
- Sayfa Sayısı: 131
Özet
Bulut teknolojisi, kurumsal uygulamalar sunmanın en iyi yolu ve yenilikler başlatan veya altyapılarını genişleten şirketler için tercih edilen çözüm haline gelmiştir. NoSQL veri tabanı genellikle büyük veri işleme için kullanılabilirlik ve esneklik sağlamak amacıyla kullanılmaktadır. Ancak, dağıtılmış ve paralel işleme ortamlarında, NoSQL veri tabanının henüz kapsamlı bir değerlendirmesi yapılmamıştır. Bunun yanı sıra NoSQL çok sayıda verilerin depolama ihtiyaçlarını daha iyi karşılamak için geliştirilmiştir. Ancak farklı NoSQL teknolojileri bulunmakta ve bunların birçoğu ayrıntılı olarak karşılaştırılmamıştır. Belirli uygulama alanlarında doğru veri tabanının seçimi için NoSQL veri tabanlarının performansını belirlemek çok önemli olmaktadır. Bulut ortamının esnekliğinden yararlanmak amacıyla bulut bilişim alanını kullanarak işleyebilen çeşitli veri tabanları ortaya çıkmıştır. Bu tez çalışmasında sistemlerin dağıtıldığı bir bulut ortamını (yani bir bulutta veya yerel bir veri merkezi kümesinde) kullanarak NoSQL veri tabanlarını değerlendirerek analiz etmek için bir model geliştirilmiştir. Sonrasında, bu sistemin performansını analiz etmek için bulut bilişim ve iç kümeler ortamlarında en popüler NoSQL veri tabanlarıyla (MongoDB ve Riak KV) bu modeli kullanarak değerlendirmeler yapılmıştır. Performansın ve gecikmenin izlenmesi de dahil olmak üzere performans değerleri farklı parametrelerle değerlendirilerek karşılaştırma yapılmıştır. Bu geliştirilen model mimarisi, diğer bulutların yanı sıra diğer veri tabanlarını da kullanma yeteneğine sahiptir. Ayrıca üç farklı bulut bilişim altyapısında model sisteminin değerlendirilmesi yapılmıştır. Model mimarisi, diğer bulutların yanı sıra diğer veri tabanlarını da kullanabilmektedir. Ayrıca, bulut bilişim platformlarındaki (CCP) bu veri tabanlarının performans kriterlerini belirlemek için birçok deneye dayanarak karşılaştırma yapan karar ağacı oluşturulmuştur. Bu çalışmanın ana bulguları şu şekildedir: (i) MongoDB'yi özellikle bir küme ortamında büyük miktarda veri okumak ve yazmak açısından Google Cloud ile entegre ederek elde edilen performans kazançları; (ii) Google Cloud altyapısı, dağıtılmış ortam ve büyük verilerin kullanılmasında daha iyi yönetilebilir ve verimli olduğu ortaya çıkmaktadır ve diğer bulut altyapılarından daha iyi sonuçlar vermiştir; (iii) Sonuçlar ayrıca Riak KV'nin hem Google Cloud hem de OpenStack bulut alytapılarında, kullanımına yönelik olarak özellikle güncellem gecikmesi açısından Riak KV'nin performans açısından sınırlarını göstermiştir.
Özet (Çeviri)
Cloud technology has become the supreme way to deliver enterprise applications and the preferred solution for companies launching innovations or extending their infrastructure. NoSQL databases are often used to provide availability and flexibility for big data processing. However, in distributed and parallel processing environments, there has not yet been a comprehensive evaluation of NoSQL databases. NoSQL was developed to better meet the data storage needs of a large number of records, but there are different kinds of NoSQL technologies, and most have not been thoroughly compared. Understanding the performance of NoSQL databases is essential for the selection of the correct database for a specific application. Several databases have emerged that can handle the cloud domain to take advantage of the flexibility of the cloud environment. The aim of this dissertation is to develop a model to evaluate and analyze NoSQL databases using a cloud environment where these systems are deployed (i.e., in a cloud or a local data center cluster). This model is then evaluated with the most popular NoSQL databases in cloud computing (MongoDB and Riak KV) and internal cluster environments to analyze the performance of those two systems. A number of aspects of performance, including monitoring throughput and latency, are compared. The model architecture has the ability to use other databases as well as other clouds. An evaluation of the model system in three cloud computing infrastructures is also presented. The model architecture can use other databases as well as other clouds. Furthermore, a decision tree is constructed based on many experiments to determine the performance criteria for the databases on the selected cloud computing platforms. The main findings of this work are as follows: (i) Performance gain is achieved by integrating MongoDB with Google Cloud, especially in terms of reading and writing a massive amount of data in a cluster environment; (ii) The infrastructure of Google Cloud is more manageable and efficient in dealing with the distributed environment and big data, and it achieved better results than the other clouds; (iii) The results also showed the limitations of Riak KV in both the Google and OpenStack clouds, especially in terms of update latency.
Benzer Tezler
- User modeling on microblogging web sites
Mikro-blog web sitelerinde kullanıcı modelleme
ZEYNEP ZENGİN ALP
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ŞULE ÖĞÜDÜCÜ
- Sigorta verilerinde çok değişkenli istatistiklerin kullanımı
Başlık çevirisi yok
SELİM AREN
Yüksek Lisans
Türkçe
1995
SigortacılıkMarmara ÜniversitesiSigortacılık Ana Bilim Dalı
Y.DOÇ.DR. ŞAHAMET BÜLBÜL
- Arama sorguları üzerinde görev tabanlı kümeleme
Task-based clustering on search queries
ALMILA SELCEN AKGÜN
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF YASLAN
- Clustering based deep learning strategy for the short-term load aggregate load forecasting for smart grids
Akıllı şebekeler için kısa vadede yük toplam yük tahmini için kümeleme tabanlı derin öğrenme stratejisi
MİRAY ALP
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiYaşar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN DEMİRKIRAN
- A novel framework for disaster resilient smart cities: Using big data analytics
Afete dayanıklı akıllı şehırler için özgun bir çerceve: Büyük veri analitiği kullanımı
SYED ATTIQUE SHAH
Doktora
İngilizce
2019
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiCoğrafi Bilgi Teknolojileri Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER