Geri Dön

HADOOP/MapReduce teknolojisi kullanılarak hızlı tüketim sektöründe büyük veri analizi

Big data analysis in fast mooving consumer sector by using HADOOP/MapReduce technology

  1. Tez No: 431943
  2. Yazar: SERDAR ÇETİNKAYA
  3. Danışmanlar: YRD. DOÇ. DR. FATİH KELEŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2016
  8. Dil: Türkçe
  9. Üniversite: İstanbul Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 82

Özet

Hayatımızın her alanına giren internet ile birlikte hızlı bir şekilde ürettiğimiz veriler eğer kullanılmaz ise devasa veri yığını olmaktan öteye geçemez. Eğer üretilen bu verileri kullanarak bilgiye dönüştürebiliyor isek o zaman toplumu etkileyen bir veri elde edebiliriz. Bu çalışmanın amacı geleneksel yollar ile analizi mümkün olmayan veya çok fazla zaman alan analizlerin nasıl daha kısıtlı kaynaklar ile yapılabileceğini tartışmaktır. Büyük veri, analiz edildiğinde insanların yaşam ve anlayış biçimini değiştirecek veriler olarak kabul edilmiştir. Büyük verinin analizi için Hortonworks'un Hadoop platformunda MapReduce ve HDFS ile pazar sepeti analizi ve k-means ile kümeleme algoritmaları üzerinde çalışılmıştır. Bu çalışmalar neticesinde müşteri kanalları miktara ve karlılığa göre yeniden oluşturulmuştur. Ayrıca pazar sepeti analiz'i, MapReduce tekniği ile yapılarak ürün birliktelikleri bulunmuştur. Bu analiz ile ürünlerin birliktelikleri belirlenerek aşağıdaki maddelerin sağlanması amaçlanmıştır. • Müşterilere ürün önerme, • Müşterilerin alışkanlıkları hakkında fikir edinme, • Raf dizilimi, • Kampanya modellerinin belirlenmesi • Müşteri memnuniyeti, Hadoop üzerinde MapReduce tekniği ile paralel olarak yapılan analizlerin veri miktarına bağlı olarak belirli bir düğüm sayısına kadar kazanım sağladığı gözlemlenmiştir. Veri miktarı arttırıldıkça en optimum sürede analiz etmek için kullanılacak düğüm sayısını arttırmak gerekmektedir. Ayrıca veri miktarına bağlı olarak belirli bir düğüm sonrasında düğüm sayısını arttırmanın kazanım sağlamadığı aksine daha uzun zamanda analiz edildiği gözlemlenmiştir. Bu çalışma ile paralel işlemenin geleneksel yöntemlere oranla daha verimli olduğu gözlemlenmiştir. Aynı zamanda Hadoop platformunun kullanılması ile daha etkin sonuçlar alındığı belirlenmiştir.

Özet (Çeviri)

If the data we produce quickly with the internet that has been into every aspect of our lives will not be used, it will be no more than a huge pile of data. If we are able to convert the information generated by using this data, then we can obtain a data that affects the community. The purpose of this study is to discuss how can we carry out these analyses which cannot be done with limited sources and takes too much time. In this study“Big Data”is considered as a data which can change people's lives and formats of their mentality. For Big Data analysis, Market Basket Analysis and Clustering Algorithm with MapReduce and HDFS have been studied. As a result of these studies customer channels have been re-created according to the amount and profitability. Besides, product association have been found by Market Basket Analysis which had been performed by MapReduce tecnique. With this analysis we aim to provide: • Product proposition to customers by determining product association, • To obtain an idea about the habits of the customers, • Shelf layout, • To determine campaign models, • Customer satisfaction. It has been observed that analyses which are performed on Hadoop in parallel processing with MapReduce technique can obtain gains up to certain number of nodes. However, after certain number of nodes no gains have been observed depending on the data structure and data amount. The amount of data in the most optimum time will be used to analyze the need to increase the number of nodes.

Benzer Tezler

  1. Dağıtık görüntü işleme

    Distributed image processing

    MURAT TEZGİDER

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GALİP AYDIN

  2. Tıbbi görüntü veri setlerinde matlab ile büyük veri teknikleri uygulaması

    Application of big data techniques for medical images datasets with matlab

    EISSA FAISAL ALI AL-ZABIDI

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ URAZ YAVANOĞLU

  3. A novel framework for disaster resilient smart cities: Using big data analytics

    Afete dayanıklı akıllı şehırler için özgun bir çerceve: Büyük veri analitiği kullanımı

    SYED ATTIQUE SHAH

    Doktora

    İngilizce

    İngilizce

    2019

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Coğrafi Bilgi Teknolojileri Ana Bilim Dalı

    PROF. DR. DURSUN ZAFER ŞEKER

  4. End-to-end internet speed analysis of mobile networks with mapreduce

    Map ve reduce ile mobil ağlarda uçtan uca internet hız analizi

    METE UZUN

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. OSMAN ABUL

  5. DNS big data processing for detecting customersbehaviour of isp using an optimized apache spark cluster

    İSP müşterilerin davranışlarını tespiti için optimize edilmiş bir apache spark kümesi kullanarak dns büyük veri işleme

    YOUSEF ALKHANAFSEH

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. TAHİR ÇETİN AKINCI