Büyük veri analizinde haritalama (mapping) indirgemesi için yeni bir yöntem geliştirilmesi
Developing a new method for mapping download in large data analysis
- Tez No: 697003
- Danışmanlar: DOÇ. DR. SAFİYE SENCER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Endüstri ve Endüstri Mühendisliği, Computer Engineering and Computer Science and Control, Science and Technology, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Sakarya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mühendislik Yönetimi Bilim Dalı
- Sayfa Sayısı: 66
Özet
Günümüzde hızla gelişen teknoloji ile birlikte veri hacmi ve veri paylaşımları da her geçen gün artmaktadır. Büyük verilerin daha hızlı ve etkin işlenerek analiz edilmesi sürecinde, veri haritalama ve indirgenmesi oldukça önemlidir. Büyük veri analizinde veri haritalama dizisi ve küçültme, belirli bir algoritma yapısı kullanarak çalışır ve girdileri bir değer listesine, parametre olarak gönderir. Ara sonuç listesi için girilen sistemde yer alan listedeki tüm değerler dönüştürülerek oluşturulur. Haritalama (Map) işleminde, haritalama listesinin yapısında, veriler kapladıkları alan ve tekrar sayıları dikkate alınarak hızlı sıralama işlemlerine tabi tutulur. Az miktarda olan verinin işlenmesi daha az zaman tüketimi, bellek tüketimi, işlemci tüketimi ve disk tüketimi gibi konularda maliyet azaltıcı etki göstermektedir. Bu çalışmada, önerilen algoritma ile veri sıralaması, veri azaltımı işlemleri daha etkin bir şekilde gerçekleştirilmiştir. Algoritmanın analiz sonuç değerleri sonuç kısmında verilmiştir. Sistem içerisinde veri analizine hazırlanacak olan veriler öncelikle sıralanabilir özellikleri kontrol edilmiş ve daha sonra işlem uygulanmıştır. Çok miktarda veri olması durumunda, veriler çok daha fazla maliyet ile işlenecektir. Azaltım uygulanacak veriler, veri büyüklüğüne ve değerliğine sahip yapıları dikkate alınarak azaltma işleminin her veriye uygulanması sağlanmıştır. Bu işlem örneklerin seçimini kolaylaştırmıştır. Bu işlem ile aynı zamanda örneklerin seçim işlemi de kolaylaşmıştır. Tez içinde amaçlanan yapıyı gerçekleştirecek bir yazılım geliştirilmiştir. Yazılım Hadoop içindeki sınıflar kullanılarak önerilen algoritma yapısına göre düzenlenerek yeni bir altprogram oluşmuştur. Bunun için Hadoop kütüphanesinden yararlanılmıştır. Çalışma içinde yazılıma aktarılan değer dosyası öncelikle belli sınırlara indirgenmiş ve ardından sıralama ve haritalama yapılmıştır. Haritalama çıktısı içerisinde indeksleme yapılmıştır. Paralel olarak çalışan haritalama ve indirgeme sınıflarında, indirgeme aşamasında veriler değerlendirilmiş ve değerlendirme sonucu oluşan bir çıktı dosyası üretilmiştir.
Özet (Çeviri)
Today, with the rapidly developing technology, data volume and data sharing are increasing day by day. Data mapping and reduction is very important in the process of analyzing the big data respect of the faster and more efficiently. In big data analysis, data mapping sequence and reduction is worked by using a certain algorithm structure and introduced then sended the inputs to a value list as a parameter. The intermediate result list is created by converting all values in the list included in the entered system. Time of the mapping (Map) process algorithm developed in the structure of the mapping list divide and obtain operations are performed. The sort depends on the bayt value that each data generates. In the case of small volumes of data, the data's result cost reduction, have less time consumption, memory consumption, processor consumption, and disk consumption. In this study, a more effective analysis process has been carried out with the proposed data sorting and reduction algorithm. The data to be prepared for data analysis in the system must have a sortable feature. If there is a large amount of data, the data processed at a much higher cost. The data mitigated must have data size and value, so that the reduction can be applied to each data. This can be facilitated the selection of examples. This process also facilitates the selection of the samples. The software has been developed to perform the intended structure in this thesis. The software was formed by crushing, added new codes as a procedure and reorganizing classes in Hadoop. Hadoop's library was used for this purpose. In the study, the value file transferred to the software is reduced to certain limits, then sorting and mapping is performed. Indexing used in the printout with the map. Data is evaluated during the reduction phase with paralel running map and reduction classes, and an output file consisting of the evaluation result is produced.
Benzer Tezler
- Sakarya ili heyelan duyarlılık haritalandırması ve risk değerlendirmesi
Landslide susceptibility mappind and risk assessment of Sakarya province
BERRE NUR BİR
Yüksek Lisans
Türkçe
2023
İnşaat MühendisliğiSakarya Uygulamalı Bilimler Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. İSA VURAL
- Quality assessment of high-throughput DNA sequencing data via range analysis
Aralık analizi ile yüksek hacimli DNA sekans verilerinin kalite değerlendirilmesi
ALI FOTOUHI
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. MUHAMMED OĞUZHAN KÜLEKCİ
- Sağlık sektöründe büyük veri üzerine bibliyometrik analiz ve sistematik literatür taraması
A bibliometric analysis and systematic literature review on big data in the health sector
İREMNUR MUMCU
Yüksek Lisans
Türkçe
2024
İşletmeHacettepe Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. MİNE ÖMÜRGÖNÜLŞEN
- Peyzaj, iklim ve kültür arasında kurulan çok boyutlu ilişkilerin araştırılması: Güneydoğu Anadolu örneği
Researching multi-dimensional relations between landscape, climate and culture: The case of Southeastern Anatolia
BAŞAK AKARSU
Yüksek Lisans
Türkçe
2022
Mimarlıkİstanbul Teknik ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
PROF. DR. GÜLŞEN AYTAÇ
- Exom veri setinden hastalığa özgü varyant veri tabanı oluşturulması
Building a disease-specific variant database from exome datasets
YAVUZ ADABALI
Yüksek Lisans
Türkçe
2019
GenetikHacettepe ÜniversitesiBiyoenformatik Ana Bilim Dalı
PROF. DR. AYŞE NURTEN AKARSU
DR. ÖĞR. ÜYESİ İDİL YET