Geri Dön

Comparative performance evaluation of hadoop on PaaS proposals by leveraging HiBench

PaaS temelli hadoop tekliflerinin HiBench kullanılarak karşılaştırmalı performans değerlendirmesi

  1. Tez No: 696256
  2. Yazar: ULUER EMRE ÖZDİL
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SERKAN AYVAZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
  12. Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Bilim Dalı
  13. Sayfa Sayısı: 84

Özet

Bulut bilişimin ticarileşmesiyle birlikte bu sahaya yönelen büyük göçün bir sonucu olarak, Hadoop'un fiziksel şirket makinalarında konuşlu varlığı, barındırma ve yönetimi gelişmiş veri merkezlerinde yürütülen sanal makine kümelerine taşınmaya başladı. Sonuç odaklı analiz hedeflerine Bulut Hizmet Sağlayıcıların (BHS) yanıt olarak geliştirdikleri yönetilen sistemler, ağır iş yükü gerektiren çoklu bilgisayar kümesi üzerinde Hadoop kurma eylemini üstlenerek, kullanıcıya, önceden yapılandırılmış Hadoop kümesini hizmet olarak sunmaktadır; kurulum işleminin birkaç ayar seçimine indirgenmesi, bu çapta bir geliştirme için gerekli teknik bilgi ve donanım gereksinimini bertaraf etmiştir. IaaS ifadesiyle tanımlı Altyapı olarak Hizmet'in Platform olarak Hizmet'e (PaaS) dönüştürülmesi sonucu bulut tabanlı Hadoop bağlamı, kullandıkça öde yapsında kurgulanan maliyetleri aşağı çekti; ancak, bunun bir de yan sonucu bulunmakta: Yönetilen Hadoop sistemleri kara kutu davranışı sergilemekte, son kullanıcı için, yararlanmakla avantaj elde ettiği bu sistemlerin performans dinamikleri muğlak kalmaktadır. Çalışmaya konu üç küresel BHS'nin (Google Cloud Platform, Microsoft Azure, ve Alibaba Cloud) Hadoop PaaS tekliflerini (sırasıyla Dataproc, HDInsight, ve e-MapReduce), aynı coğrafi bölge ve donanım özellikleriyle etkinleştirdik ve ilgili kümelerde HiBench çerçeve uygulamasının Hadoop'a yönelik çeşitli iş yüklerini çalıştırdık. Alınan sonuçlarda, kurulum seçenekleri arasında aynı veya çok benzerleri seçmenin, ilgili hizmetlerin birbirine yakın performans göstermesinde belirleyici olmadığı, hatta aynı sağlayıcının performanslarında tutarsızlık oluşabildiği gözlemlendi. Yönetilen sistemde yüklenicinin yürüttüğü ön yapılandırma çalışmasının, sunulan hizmetin gösterdiği performansta belirleyici olduğunu varsaymaktayız.

Özet (Çeviri)

Cloud Computing's commercialization started a grand migration movement towards the cloud, impacting Hadoop to transfer its presence from on-premises to virtual machines stored and tamed in extensive data center facilities by global Cloud Service Providers (CSP). The CSPs' response to result-focused analytics purposes paved the way for a service called managed systems where the contractor overtakes the demanding workload of multi-node cluster implementation by providing a pre-configured Hadoop package simplifying the installation process to a matter of property selection, thus eliminating technical know-how requirements on such an implementation. Converting the concept of cloud-based Hadoop from Infrastructure-as-a-Service (IaaS) to Platform-as-a-Service (PaaS) reduced costs commercially presented as pay-as-you-go or pay-per-use. However, there is a payoff; managed Hadoop systems do present a black-box behavior to the end-user who cannot be clear on the inner performance dynamics, hence the benefits by leveraging them. In the study, we selected three global providers (Google Cloud Platform, Microsoft Azure, and Alibaba Cloud), activated their Hadoop PaaS offerings (Dataproc, HDInsight, and e-MapReduce, respectively) within the same geographical region and by promise same computing specifications, and executed several Hadoop workloads of the HiBench Benchmark Suite. The results yield that the same computation specs among the CSPs' services as they come out-of-the-box do not guarantee close performance outputs to each other, nor consistent performances within themselves. We assume that the pre-configuration work of managed systems done by the contractor plays a weighing role in their performance.

Benzer Tezler

  1. Büyük veri log yönetiminde siber ataklara karşın saldırı tespit sistem tasarımı

    Design of an intrusion detection system against cyber attacks in big data log management

    MURAT KOCA

    Doktora

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-Cerrahpaşa

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUHAMMED ALİ AYDIN

  2. A comparative study of Hadoop and Spark frameworks

    Hadoop ve Spark sistemlerin karşılastırmalı çalışması

    ARSAN MOHAMMED ALI ALI

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ YAZICI

    YRD. DOÇ. DR. ZİYA KARAKAYA

  3. Yozgat ilindeki bazı sulama birliklerinin karşılaştırmalı performans değerlendirmesi

    Comparative performance evaluation of some irrigation associations in Yozgat region province

    GÜLŞAH ŞENGÖNÜL ASLAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    ZiraatBursa Uludağ Üniversitesi

    Biyosistem Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BURAK NAZMİ CANDOĞAN

  4. Türkiye'deki bireysel emeklilik yatırım fonlarının sermaye piyasası araçlarıyla karşılaştırmalı performans değerlendirmesi

    Comparative performance evaluation of individual pension mutual funds in Turkey with capital market instruments

    DERVİŞ EMRE ATABEY

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Ekonomiİstanbul Üniversitesi

    Para Sermaye Piyasaları ve Finansal Kurumlar Bilim Dalı

    DR. ÖĞR. ÜYESİ ARİF SALDANLI

  5. A comparative performance evaluation of scale invariant interest point detectors for infrared and visual images

    Boyuttan bağımsız öznitelik/özellik çıkarım detektörlerinin kızılötesi ve görünür bant resimleri için karşılaştırmalı performans değerlendirmesi

    ERDEM EMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2008

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik ve Elektronik Mühendisliği Bölümü

    DOÇ. DR. A. AYDIN ALATAN