Novel merging based height-balanced histogram computation for big data
Büyük veriler için yeni birleştirme tabanlı yükseklik dengelenmiş histogram oluşturma
- Tez No: 476398
- Danışmanlar: YRD. DOÇ. DR. AHMET ERCAN TOPCU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 72
Özet
Üretilen ve bulut sistemlerde kaydedilen data miktarı her geçen gün katlanarak artmaktadır. Buna örnek olarak, kullanıcı tarafından üretilen veriler, makine tarafından üretilen veriler ve İnternet'ten crawl edilen veriler gösterilebilir. Petabyte boyutunda dataları depolamak ve işlemek için; Apache Hadoop ekosistem araçları ve bazı NoSQL frameworkleri gibi verimliliği kanıtlanmış frameworkler vardır. Bu araçlar endüstride geniş çaplı kullanılmaktadır ve bu sebepten çeşitli araştırmalara konu olmaktadır. Önerilen veri işleme teknikleri yukarıda saydığımız frameworklere pratik olması için uyumlu olmalıdır. Önermli veri operasyonlarından bir tanesi de, equi-depth(eş-derinlikli) histogram oluşturmaktır. Çünkü equi-depth histogramlar, sorgu optimizasyonu da gerektiren birçok uygulamada, datanın istatistiksel özelliğini anlamak için hayati öneme sahiptir. Bu tezde, büyük veriler için approximate equi-depth histogramının oluşturulması üzerine çalışılmıştır ve verilen zaman aralığının equi-depth histogramını oluşturan histogram birleştirme tabanlı yeni bir metod ve bu metodu kullanan bir framework geliştirilmiştir. Bu framework, parçalar halinde bulunan tam olarak hesaplanmış equi-depth histogramları birleştirmek kaydıyla yaklaşık bir equi-depth histogram oluşturmaktadır. Oluşturulan bu histogramın bir bucketında bulunan öğe sayısınında oluşabilecek maksimum hata sınırı garanti edilmektedir. Histogra- mın herhangi bir aralığında da maksimum hata sınırı garanti edilmektedir. Biz bu tezde önerdiğimiz metodun Apache Pig ve web uygulamalarını da sunmaktayız.
Özet (Çeviri)
The amount of data generated and stored in cloud systems has been increasing exponentially. The examples of data include user generated data, machine generated data as well as data crawled from the Internet. There have been several frameworks with proven efficiency to store and process the petabyte scale data such as Apache Hadoop ecosystem tools, and several NoSQL frameworks. These systems have been widely used in industry and thus are subject to several research. The proposed data processing techniques should be compatible with the above frameworks in order to be practical. One of the key data operations is deriving equi-depth histograms as they are crucial in understanding the statistical properties of the underlying data with many applications including query optimization.In this thesis, we focus on approximate equi-depth histogram construction for big data and propose a novel merge based histogram construction method with a histogram processing framework which constructs an equi-depth histogram for a given time interval. The proposed method constructs approximate equi-depth histograms by merging exact equi-depth histograms of partitioned data by guaranteeing a maximum error bound on the number of items in a bucket (bucket size) as well as any range on the histogram. We also test Apache Pig User Define Functions of this proposed method in this thesis.
Benzer Tezler
- Laser ablation assisted size-based sorting of pure water droplets inside a microfluidic chip and designing a microfluidic chip for studying sprouting angiogenesis
Lazer işleme ile geliştirilen mikroakışkan çip içerisinde su damlalarının boyutlarına bağlı sınıflandırılması ve anjiyojenez çalışmalarına yönelik mikroakışkan çip tasarımı
ATEEQ UR REHMAN
Doktora
İngilizce
2019
BiyomühendislikKoç ÜniversitesiBiyomedikal Bilimler ve Mühendislik Ana Bilim Dalı
PROF. DR. ALPER KİRAZ
- Kumtaşı ocaklarında patlatma faaliyetlerinde parçalanma modellerinin incelenmesi
Investigation of blast fragmentation models in sandstone quarries
ÖZGE AKYILDIZ
Yüksek Lisans
Türkçe
2015
Maden Mühendisliği ve Madencilikİstanbul Teknik ÜniversitesiMaden Mühendisliği Ana Bilim Dalı
DOÇ. DR. TÜRKER HÜDAVERDİ
- Multi-robot coordination control methodology for search and rescue operations
Arama ve kurtarma görevleri için çoklu robot koordinasyon kontrol metodu
SEBAHATTİN TOPAL
Doktora
İngilizce
2011
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
PROF. DR. AYDAN M. ERKMEN
PROF. DR. İSMET ERKMEN
- Image processing algorithms for histopathological images
Histopatolojik imgeler için imge işleme algoritmaları
OĞUZHAN OĞUZ
Yüksek Lisans
İngilizce
2016
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ENİS ÇETİN
- Ultrasound image segmentation using the watershed algorithm
Ultrason görüntülerinin havza sınırlama yöntemi kullanılarak bölütlenmesi
SİBEL KADIOĞLU
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA KARAMAN