HADOOP/MapReduce teknolojisi kullanılarak hızlı tüketim sektöründe büyük veri analizi
Big data analysis in fast mooving consumer sector by using HADOOP/MapReduce technology
- Tez No: 431943
- Danışmanlar: YRD. DOÇ. DR. FATİH KELEŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: Türkçe
- Üniversite: İstanbul Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 82
Özet
Hayatımızın her alanına giren internet ile birlikte hızlı bir şekilde ürettiğimiz veriler eğer kullanılmaz ise devasa veri yığını olmaktan öteye geçemez. Eğer üretilen bu verileri kullanarak bilgiye dönüştürebiliyor isek o zaman toplumu etkileyen bir veri elde edebiliriz. Bu çalışmanın amacı geleneksel yollar ile analizi mümkün olmayan veya çok fazla zaman alan analizlerin nasıl daha kısıtlı kaynaklar ile yapılabileceğini tartışmaktır. Büyük veri, analiz edildiğinde insanların yaşam ve anlayış biçimini değiştirecek veriler olarak kabul edilmiştir. Büyük verinin analizi için Hortonworks'un Hadoop platformunda MapReduce ve HDFS ile pazar sepeti analizi ve k-means ile kümeleme algoritmaları üzerinde çalışılmıştır. Bu çalışmalar neticesinde müşteri kanalları miktara ve karlılığa göre yeniden oluşturulmuştur. Ayrıca pazar sepeti analiz'i, MapReduce tekniği ile yapılarak ürün birliktelikleri bulunmuştur. Bu analiz ile ürünlerin birliktelikleri belirlenerek aşağıdaki maddelerin sağlanması amaçlanmıştır. • Müşterilere ürün önerme, • Müşterilerin alışkanlıkları hakkında fikir edinme, • Raf dizilimi, • Kampanya modellerinin belirlenmesi • Müşteri memnuniyeti, Hadoop üzerinde MapReduce tekniği ile paralel olarak yapılan analizlerin veri miktarına bağlı olarak belirli bir düğüm sayısına kadar kazanım sağladığı gözlemlenmiştir. Veri miktarı arttırıldıkça en optimum sürede analiz etmek için kullanılacak düğüm sayısını arttırmak gerekmektedir. Ayrıca veri miktarına bağlı olarak belirli bir düğüm sonrasında düğüm sayısını arttırmanın kazanım sağlamadığı aksine daha uzun zamanda analiz edildiği gözlemlenmiştir. Bu çalışma ile paralel işlemenin geleneksel yöntemlere oranla daha verimli olduğu gözlemlenmiştir. Aynı zamanda Hadoop platformunun kullanılması ile daha etkin sonuçlar alındığı belirlenmiştir.
Özet (Çeviri)
If the data we produce quickly with the internet that has been into every aspect of our lives will not be used, it will be no more than a huge pile of data. If we are able to convert the information generated by using this data, then we can obtain a data that affects the community. The purpose of this study is to discuss how can we carry out these analyses which cannot be done with limited sources and takes too much time. In this study“Big Data”is considered as a data which can change people's lives and formats of their mentality. For Big Data analysis, Market Basket Analysis and Clustering Algorithm with MapReduce and HDFS have been studied. As a result of these studies customer channels have been re-created according to the amount and profitability. Besides, product association have been found by Market Basket Analysis which had been performed by MapReduce tecnique. With this analysis we aim to provide: • Product proposition to customers by determining product association, • To obtain an idea about the habits of the customers, • Shelf layout, • To determine campaign models, • Customer satisfaction. It has been observed that analyses which are performed on Hadoop in parallel processing with MapReduce technique can obtain gains up to certain number of nodes. However, after certain number of nodes no gains have been observed depending on the data structure and data amount. The amount of data in the most optimum time will be used to analyze the need to increase the number of nodes.
Benzer Tezler
- Dağıtık görüntü işleme
Distributed image processing
MURAT TEZGİDER
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GALİP AYDIN
- Tıbbi görüntü veri setlerinde matlab ile büyük veri teknikleri uygulaması
Application of big data techniques for medical images datasets with matlab
EISSA FAISAL ALI AL-ZABIDI
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ URAZ YAVANOĞLU
- A novel framework for disaster resilient smart cities: Using big data analytics
Afete dayanıklı akıllı şehırler için özgun bir çerceve: Büyük veri analitiği kullanımı
SYED ATTIQUE SHAH
Doktora
İngilizce
2019
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiCoğrafi Bilgi Teknolojileri Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- End-to-end internet speed analysis of mobile networks with mapreduce
Map ve reduce ile mobil ağlarda uçtan uca internet hız analizi
METE UZUN
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. OSMAN ABUL
- DNS big data processing for detecting customersbehaviour of isp using an optimized apache spark cluster
İSP müşterilerin davranışlarını tespiti için optimize edilmiş bir apache spark kümesi kullanarak dns büyük veri işleme
YOUSEF ALKHANAFSEH
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. TAHİR ÇETİN AKINCI