Geri Dön

Büyük veri analizinde haritalama (mapping) indirgemesi için yeni bir yöntem geliştirilmesi

Developing a new method for mapping download in large data analysis

  1. Tez No: 697003
  2. Yazar: SUAT ERDOĞAN
  3. Danışmanlar: DOÇ. DR. SAFİYE SENCER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Endüstri ve Endüstri Mühendisliği, Computer Engineering and Computer Science and Control, Science and Technology, Industrial and Industrial Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: Türkçe
  9. Üniversite: Sakarya Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mühendislik Yönetimi Bilim Dalı
  13. Sayfa Sayısı: 66

Özet

Günümüzde hızla gelişen teknoloji ile birlikte veri hacmi ve veri paylaşımları da her geçen gün artmaktadır. Büyük verilerin daha hızlı ve etkin işlenerek analiz edilmesi sürecinde, veri haritalama ve indirgenmesi oldukça önemlidir. Büyük veri analizinde veri haritalama dizisi ve küçültme, belirli bir algoritma yapısı kullanarak çalışır ve girdileri bir değer listesine, parametre olarak gönderir. Ara sonuç listesi için girilen sistemde yer alan listedeki tüm değerler dönüştürülerek oluşturulur. Haritalama (Map) işleminde, haritalama listesinin yapısında, veriler kapladıkları alan ve tekrar sayıları dikkate alınarak hızlı sıralama işlemlerine tabi tutulur. Az miktarda olan verinin işlenmesi daha az zaman tüketimi, bellek tüketimi, işlemci tüketimi ve disk tüketimi gibi konularda maliyet azaltıcı etki göstermektedir. Bu çalışmada, önerilen algoritma ile veri sıralaması, veri azaltımı işlemleri daha etkin bir şekilde gerçekleştirilmiştir. Algoritmanın analiz sonuç değerleri sonuç kısmında verilmiştir. Sistem içerisinde veri analizine hazırlanacak olan veriler öncelikle sıralanabilir özellikleri kontrol edilmiş ve daha sonra işlem uygulanmıştır. Çok miktarda veri olması durumunda, veriler çok daha fazla maliyet ile işlenecektir. Azaltım uygulanacak veriler, veri büyüklüğüne ve değerliğine sahip yapıları dikkate alınarak azaltma işleminin her veriye uygulanması sağlanmıştır. Bu işlem örneklerin seçimini kolaylaştırmıştır. Bu işlem ile aynı zamanda örneklerin seçim işlemi de kolaylaşmıştır. Tez içinde amaçlanan yapıyı gerçekleştirecek bir yazılım geliştirilmiştir. Yazılım Hadoop içindeki sınıflar kullanılarak önerilen algoritma yapısına göre düzenlenerek yeni bir altprogram oluşmuştur. Bunun için Hadoop kütüphanesinden yararlanılmıştır. Çalışma içinde yazılıma aktarılan değer dosyası öncelikle belli sınırlara indirgenmiş ve ardından sıralama ve haritalama yapılmıştır. Haritalama çıktısı içerisinde indeksleme yapılmıştır. Paralel olarak çalışan haritalama ve indirgeme sınıflarında, indirgeme aşamasında veriler değerlendirilmiş ve değerlendirme sonucu oluşan bir çıktı dosyası üretilmiştir.

Özet (Çeviri)

Today, with the rapidly developing technology, data volume and data sharing are increasing day by day. Data mapping and reduction is very important in the process of analyzing the big data respect of the faster and more efficiently. In big data analysis, data mapping sequence and reduction is worked by using a certain algorithm structure and introduced then sended the inputs to a value list as a parameter. The intermediate result list is created by converting all values in the list included in the entered system. Time of the mapping (Map) process algorithm developed in the structure of the mapping list divide and obtain operations are performed. The sort depends on the bayt value that each data generates. In the case of small volumes of data, the data's result cost reduction, have less time consumption, memory consumption, processor consumption, and disk consumption. In this study, a more effective analysis process has been carried out with the proposed data sorting and reduction algorithm. The data to be prepared for data analysis in the system must have a sortable feature. If there is a large amount of data, the data processed at a much higher cost. The data mitigated must have data size and value, so that the reduction can be applied to each data. This can be facilitated the selection of examples. This process also facilitates the selection of the samples. The software has been developed to perform the intended structure in this thesis. The software was formed by crushing, added new codes as a procedure and reorganizing classes in Hadoop. Hadoop's library was used for this purpose. In the study, the value file transferred to the software is reduced to certain limits, then sorting and mapping is performed. Indexing used in the printout with the map. Data is evaluated during the reduction phase with paralel running map and reduction classes, and an output file consisting of the evaluation result is produced.

Benzer Tezler

  1. Sakarya ili heyelan duyarlılık haritalandırması ve risk değerlendirmesi

    Landslide susceptibility mappind and risk assessment of Sakarya province

    BERRE NUR BİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    İnşaat MühendisliğiSakarya Uygulamalı Bilimler Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İSA VURAL

  2. Quality assessment of high-throughput DNA sequencing data via range analysis

    Aralık analizi ile yüksek hacimli DNA sekans verilerinin kalite değerlendirilmesi

    ALI FOTOUHI

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    Assoc. Prof. Dr. MUHAMMED OĞUZHAN KÜLEKCİ

  3. Sağlık sektöründe büyük veri üzerine bibliyometrik analiz ve sistematik literatür taraması

    A bibliometric analysis and systematic literature review on big data in the health sector

    İREMNUR MUMCU

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    İşletmeHacettepe Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. MİNE ÖMÜRGÖNÜLŞEN

  4. Peyzaj, iklim ve kültür arasında kurulan çok boyutlu ilişkilerin araştırılması: Güneydoğu Anadolu örneği

    Researching multi-dimensional relations between landscape, climate and culture: The case of Southeastern Anatolia

    BAŞAK AKARSU

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Mimarlıkİstanbul Teknik Üniversitesi

    Peyzaj Mimarlığı Ana Bilim Dalı

    PROF. DR. GÜLŞEN AYTAÇ

  5. Exom veri setinden hastalığa özgü varyant veri tabanı oluşturulması

    Building a disease-specific variant database from exome datasets

    YAVUZ ADABALI

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    GenetikHacettepe Üniversitesi

    Biyoenformatik Ana Bilim Dalı

    PROF. DR. AYŞE NURTEN AKARSU

    DR. ÖĞR. ÜYESİ İDİL YET