Hadoop mapreduce algoritmasının analizi ile performansa etki eden parametrelerin tespiti ve hadoop üzerinde başarım artımı
With analysis of hadoop mapreduce algorithm finding parameters affecting performance and using optimized parameters increasing throughput on hadoop cluster
- Tez No: 397351
- Danışmanlar: YRD. DOÇ. DR. HAYRETTİN EVİRGEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Hadoop, Map reduce, Hdfs, Mapreduce Performans Parametreleri, Hadoop, Map Reduce, Hdfs, Map Reduce Performance Parameters
- Yıl: 2015
- Dil: Türkçe
- Üniversite: Sakarya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilişim Bilim Dalı
- Sayfa Sayısı: 66
Özet
Map reduce kütüphanesi Google tarafından bilişim dünyasına kazandırılan dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan programlama modelidir. Bu doküman hadoop map reduce algoritması iş akışını inceler ve map reduce işlemlerinin ve yapılandırma parametrelerinin farklı aşamalardaki farklı kullanımını ve yapılandırma parametrelerinin varsayılan değerleri, artıları eksileri ve tavsiye edilen“Konfigürasyon Parametre Modeli”'ni açıklar. Uygulamaya özgü“Konfigürasyon Parametre Modeli”ni oluşturmak için uygulama ortamı düğümler arasında koordinasyonu sağlayan bir bilgisayar ve verilerin saklandığı dört adet bilgisayar olmak üzere toplam beş bilgisayardan oluşmuş, her bir bilgisayar 1 gb/s ile haberleşen anahtar ile birbirine bağlanmış ve hadoop küme yapısı oluşturulmuştur. Deneyde yapılan testler ile parametreler için en uygun değer değerler tespit edilmiştir. Amacımız az donanım maliyeti ile ölçekleme yaparak hadoop map reduce sistemi için en uygun değer yapılandırma parametrelerini bulup tavsiye edilen“Konfigürasyon Parametre Modeli”' ni açığa çıkarmaktır.
Özet (Çeviri)
Map reduce framework is a programming model brought to information world by Google that enables very large data analyzed in easy way on distributed architecture. This study analyses hadoop map reduce algorithm in a way that it describes different phases of map reduce operations, usage of configuration parameters in the map reduce job. It explains the configuration parameters, their default values, advantages, disadvantages, and creates a“Configuration Parameter Model”with suggested values in different conditions for this cluster. In order to create Configuration Parameter Model, hadoop map reduce cluster is created on environment for experiment which has five computers and has got one main computer which enables coordinating with master node and four computers which are slave nodes. The experiments are made on parameters which is trouble for cluster, optimum parameters values detected made by running tests. Our goal is to expose suggested“Configuration Parameter Model”by finding optimum configuration parameters using cluster and by decreasing hardware cost minimum.
Benzer Tezler
- Büyük veri analizi yöntemleri ve yazılım teknolojileriyle metin madenciliği
Text mining using big data analysis methods and tools
EVREN PALA
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHava Harp Okulu KomutanlığıBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜRAY YILMAZ
- Dağıtık görüntü işleme
Distributed image processing
MURAT TEZGİDER
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GALİP AYDIN
- Social media data filtering and analysis using mapreduce programming model
Mapreduce programlama modelini kullanarak sosyal medya veri filtreleme ve analizi
ÜMİT DEMİRBAGA
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolNewcastle UniversityBilgisayar Bilimleri Ana Bilim Dalı
DR. RAJİV RANJAN
- Büyük veri araçlarından Hadoop kullanarak veri madenciliği
Data mining using Hadoop big data tool
MEHMET UMUT SALUR
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEZAİ TOKAT
- Gezgin satıcı probleminin hadoop üzerinde çalışan paralel genetik algoritma ile çözümü
Parallel genetic algorithm to solve traveling salesman problem on hadoop cluster
HARUN RAŞİT ER
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NADİA ERDOĞAN