Comparative performance evaluation of hadoop on PaaS proposals by leveraging HiBench
PaaS temelli hadoop tekliflerinin HiBench kullanılarak karşılaştırmalı performans değerlendirmesi
- Tez No: 696256
- Danışmanlar: DR. ÖĞR. ÜYESİ SERKAN AYVAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
- Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Bilim Dalı
- Sayfa Sayısı: 84
Özet
Bulut bilişimin ticarileşmesiyle birlikte bu sahaya yönelen büyük göçün bir sonucu olarak, Hadoop'un fiziksel şirket makinalarında konuşlu varlığı, barındırma ve yönetimi gelişmiş veri merkezlerinde yürütülen sanal makine kümelerine taşınmaya başladı. Sonuç odaklı analiz hedeflerine Bulut Hizmet Sağlayıcıların (BHS) yanıt olarak geliştirdikleri yönetilen sistemler, ağır iş yükü gerektiren çoklu bilgisayar kümesi üzerinde Hadoop kurma eylemini üstlenerek, kullanıcıya, önceden yapılandırılmış Hadoop kümesini hizmet olarak sunmaktadır; kurulum işleminin birkaç ayar seçimine indirgenmesi, bu çapta bir geliştirme için gerekli teknik bilgi ve donanım gereksinimini bertaraf etmiştir. IaaS ifadesiyle tanımlı Altyapı olarak Hizmet'in Platform olarak Hizmet'e (PaaS) dönüştürülmesi sonucu bulut tabanlı Hadoop bağlamı, kullandıkça öde yapsında kurgulanan maliyetleri aşağı çekti; ancak, bunun bir de yan sonucu bulunmakta: Yönetilen Hadoop sistemleri kara kutu davranışı sergilemekte, son kullanıcı için, yararlanmakla avantaj elde ettiği bu sistemlerin performans dinamikleri muğlak kalmaktadır. Çalışmaya konu üç küresel BHS'nin (Google Cloud Platform, Microsoft Azure, ve Alibaba Cloud) Hadoop PaaS tekliflerini (sırasıyla Dataproc, HDInsight, ve e-MapReduce), aynı coğrafi bölge ve donanım özellikleriyle etkinleştirdik ve ilgili kümelerde HiBench çerçeve uygulamasının Hadoop'a yönelik çeşitli iş yüklerini çalıştırdık. Alınan sonuçlarda, kurulum seçenekleri arasında aynı veya çok benzerleri seçmenin, ilgili hizmetlerin birbirine yakın performans göstermesinde belirleyici olmadığı, hatta aynı sağlayıcının performanslarında tutarsızlık oluşabildiği gözlemlendi. Yönetilen sistemde yüklenicinin yürüttüğü ön yapılandırma çalışmasının, sunulan hizmetin gösterdiği performansta belirleyici olduğunu varsaymaktayız.
Özet (Çeviri)
Cloud Computing's commercialization started a grand migration movement towards the cloud, impacting Hadoop to transfer its presence from on-premises to virtual machines stored and tamed in extensive data center facilities by global Cloud Service Providers (CSP). The CSPs' response to result-focused analytics purposes paved the way for a service called managed systems where the contractor overtakes the demanding workload of multi-node cluster implementation by providing a pre-configured Hadoop package simplifying the installation process to a matter of property selection, thus eliminating technical know-how requirements on such an implementation. Converting the concept of cloud-based Hadoop from Infrastructure-as-a-Service (IaaS) to Platform-as-a-Service (PaaS) reduced costs commercially presented as pay-as-you-go or pay-per-use. However, there is a payoff; managed Hadoop systems do present a black-box behavior to the end-user who cannot be clear on the inner performance dynamics, hence the benefits by leveraging them. In the study, we selected three global providers (Google Cloud Platform, Microsoft Azure, and Alibaba Cloud), activated their Hadoop PaaS offerings (Dataproc, HDInsight, and e-MapReduce, respectively) within the same geographical region and by promise same computing specifications, and executed several Hadoop workloads of the HiBench Benchmark Suite. The results yield that the same computation specs among the CSPs' services as they come out-of-the-box do not guarantee close performance outputs to each other, nor consistent performances within themselves. We assume that the pre-configuration work of managed systems done by the contractor plays a weighing role in their performance.
Benzer Tezler
- Büyük veri log yönetiminde siber ataklara karşın saldırı tespit sistem tasarımı
Design of an intrusion detection system against cyber attacks in big data log management
MURAT KOCA
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-CerrahpaşaBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED ALİ AYDIN
- A comparative study of Hadoop and Spark frameworks
Hadoop ve Spark sistemlerin karşılastırmalı çalışması
ARSAN MOHAMMED ALI ALI
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ YAZICI
YRD. DOÇ. DR. ZİYA KARAKAYA
- Yozgat ilindeki bazı sulama birliklerinin karşılaştırmalı performans değerlendirmesi
Comparative performance evaluation of some irrigation associations in Yozgat region province
GÜLŞAH ŞENGÖNÜL ASLAN
Yüksek Lisans
Türkçe
2019
ZiraatBursa Uludağ ÜniversitesiBiyosistem Mühendisliği Ana Bilim Dalı
DOÇ. DR. BURAK NAZMİ CANDOĞAN
- Türkiye'deki bireysel emeklilik yatırım fonlarının sermaye piyasası araçlarıyla karşılaştırmalı performans değerlendirmesi
Comparative performance evaluation of individual pension mutual funds in Turkey with capital market instruments
DERVİŞ EMRE ATABEY
Yüksek Lisans
Türkçe
2018
Ekonomiİstanbul ÜniversitesiPara Sermaye Piyasaları ve Finansal Kurumlar Bilim Dalı
DR. ÖĞR. ÜYESİ ARİF SALDANLI
- A comparative performance evaluation of scale invariant interest point detectors for infrared and visual images
Boyuttan bağımsız öznitelik/özellik çıkarım detektörlerinin kızılötesi ve görünür bant resimleri için karşılaştırmalı performans değerlendirmesi
ERDEM EMİR
Yüksek Lisans
İngilizce
2008
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
DOÇ. DR. A. AYDIN ALATAN