Hadoop çatısının bulut ortamında gerçeklenmesi ve başarım analizi
Hadoop framework implementation and performance analysis on cloud
- Tez No: 614778
- Danışmanlar: DOÇ. DR. RAYIMBEK SULTANOV
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Büyük veri, Hadoop, bulut, MapReduce, kıyaslama araçları, Big data, Hadoop, cloud computing, MapReduce, benchmarking tools
- Yıl: 2015
- Dil: Türkçe
- Üniversite: Kırgızistan-Türkiye Manas Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 54
Özet
Hadoop çatısı, büyük veriyi işlemede, işlenecek verinin düğüm öbekleri üzerinde dağıtılması, işlenmesi ve tekrar birleştirilerek anlamlı hale getirilmesi için MapReduce programlama paradigmasını kullanır. MapReduce, geniş bilgisayar öbekleri üzerinde barındırılan büyük verinin işlenmesinde kullanılan tekniklerden biridir. Bu yöntemde map aşamasında işler daha küçük parçalara ayrılır ve düğümlere dağıtılarak işlenir. Reduce aşamasında ise işlenen iş parçacıkları birleştirilerek sonuç elde edilir. İşlerin parçalanması, düğümlere dağıtılması, eş zamanlı olarak yapılan iş sayısı ve öbekteki düğüm sayısı gibi parametreler, işlerin tamamlanma süresine etki etmektedir. Bu çalışmanın amacı bir öbek üzerinde çalışan, düğüm, map ve reduce iş parçacıklarının sayısının Hadoop çatısının başarımını nasıl etkilediğini tespit etmektir. Bu amaçla 10 düğümlü bir öbek üzerinde Hadoop çatısı kurularak Piestimator, Grep, Teragen, Terasort kıyaslama araçları yardımıyla farklı düğüm, map ve reduce sayıları kullanılarak deneyler gerçekleştirilmiştir. Hadoop çatısı altında hazır gelen kıyaslama araçları ile gerçekleştirilen deneylerin sonucunda uygulamalar işlemci kullanım durumlarına göre işlemciyi az kullanan ve yoğun kullanan uygulamalar şeklinde sınıflandırılmıştır. İşlemciyi az kullanan uygulamalarda düğüm, map ve reduce sayısının artırılması işin verimliliğini artırmadığı gibi sistem kaynaklarını gereksiz yere kullanarak, iş için harcanan zamanın artmasına neden olmuştur. Bu nedenle işlemciyi az kullanan uygulamalarda düğüm, map ve reduce sayısı en az seçilmesi, işlemciyi yoğun kullanan uygulamalarda ise iş parçacıklarının işlendiği aşamaya göre map ya da reduce sayısının, düğümlerdeki toplam CPU sayısı kadar seçilmesi iş için harcanan zamanın eniyilemesi olarak bulunmuştur.
Özet (Çeviri)
Hadoop framework uses MapReduce programming paradigm to process big data by distributing data across a cluster and aggregating. MapReduce is one of the methods used to process big data hosted on large clusters. In this method, jobs are processed by dividing into small pieces and distributing over nodes. Parameters such as distributing method over nodes, the number of jobs held in a parallel fashion and the number of nodes in the cluster affect the execution time of jobs. Aim of this paper is to determine how number of nodes, maps and reduces affect the performance of Hadoop framework on a cloud environment. For this purpose, tests were carried out on a Hadoop cluster with 10 nodes hosted on a cloud environment by running PiEstimator, Grep, Teragen and Terasort benchmarking tools on it. These benchmarking tools available under Hadoop framework are classified as CPU-intensive and CPU-light applications as a result of tests. In CPU-light applications; increasing number of nodes, maps and reduces do not improve efficiency of these applications, even they cause increase of time spent on jobs by using system resources unnecessarily. Therefore, in CPU-light applications, selecting number of nodes, maps and reduces as minimum are found as the optimization of time spent on a process. In CPU-intensive applications, selecting number of maps or reduces equal to total number of CPUs on a cluster are found as the optimization of time spent on a process.
Benzer Tezler
- Biyolojik veritabanlarında etkin benzerlik hesaplama
Effective similarity calculation in biological databases
ARDA SÖYLEV
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. OSMAN ABUL
- Lexicon based opinion mining on twitter data by using hadoop
Hadoop kullanarak twitter verileri üzerindeki görüş madenciliği tabanlı veri sözlüğü
MOHAMMED RAAED MAHMOOD ALKSSO
Yüksek Lisans
İngilizce
2017
Bilim ve TeknolojiÇankaya ÜniversitesiMatematik Ana Bilim Dalı
Assist. Prof. Dr. ABDÜL KADİR GÖRÜR
- HADOOP/MapReduce teknolojisi kullanılarak hızlı tüketim sektöründe büyük veri analizi
Big data analysis in fast mooving consumer sector by using HADOOP/MapReduce technology
SERDAR ÇETİNKAYA
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. FATİH KELEŞ
- Hadoop için heterojen yük dengeleme algoritması geliştirilmesi
Development of a heterogeneous load balancing algorithm for Hadoop
ERKİN ALP GÜNEY
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ŞEBNEM BORA
- HADOOP kullanarak meteoroloji verilerinden bir iklim değişimi eğilim analizi
A climate change trend analysis from meteorological data using HADOOP
MUSTAFA KAYA
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiElektronik ve Bilgisayar Sistemleri Eğitimi Ana Bilim Dalı
PROF. DR. TUNCAY AYDOĞAN