Novel merging based height-balanced histogram computation for big data
Büyük veriler için yeni birleştirme tabanlı yükseklik dengelenmiş histogram oluşturma
- Tez No: 476398
- Danışmanlar: YRD. DOÇ. DR. AHMET ERCAN TOPCU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Üretilen ve bulut sistemlerde kaydedilen data miktarı her geçen gün katlanarak artmaktadır. Buna örnek olarak, kullanıcı tarafından üretilen veriler, makine tarafından üretilen veriler ve İnternet'ten crawl edilen veriler gösterilebilir. Petabyte boyutunda dataları depolamak ve işlemek için; Apache Hadoop ekosistem araçları ve bazı NoSQL frameworkleri gibi verimliliği kanıtlanmış frameworkler vardır. Bu araçlar endüstride geniş çaplı kullanılmaktadır ve bu sebepten çeşitli araştırmalara konu olmaktadır. Önerilen veri işleme teknikleri yukarıda saydığımız frameworklere pratik olması için uyumlu olmalıdır. Önermli veri operasyonlarından bir tanesi de, equi-depth(eş-derinlikli) histogram oluşturmaktır. Çünkü equi-depth histogramlar, sorgu optimizasyonu da gerektiren birçok uygulamada, datanın istatistiksel özelliğini anlamak için hayati öneme sahiptir. Bu tezde, büyük veriler için approximate equi-depth histogramının oluşturulması üzerine çalışılmıştır ve verilen zaman aralığının equi-depth histogramını oluşturan histogram birleştirme tabanlı yeni bir metod ve bu metodu kullanan bir framework geliştirilmiştir. Bu framework, parçalar halinde bulunan tam olarak hesaplanmış equi-depth histogramları birleştirmek kaydıyla yaklaşık bir equi-depth histogram oluşturmaktadır. Oluşturulan bu histogramın bir bucketında bulunan öğe sayısınında oluşabilecek maksimum hata sınırı garanti edilmektedir. Histogra- mın herhangi bir aralığında da maksimum hata sınırı garanti edilmektedir. Biz bu tezde önerdiğimiz metodun Apache Pig ve web uygulamalarını da sunmaktayız.
Özet (Çeviri)
The amount of data generated and stored in cloud systems has been increasing exponentially. The examples of data include user generated data, machine generated data as well as data crawled from the Internet. There have been several frameworks with proven efficiency to store and process the petabyte scale data such as Apache Hadoop ecosystem tools, and several NoSQL frameworks. These systems have been widely used in industry and thus are subject to several research. The proposed data processing techniques should be compatible with the above frameworks in order to be practical. One of the key data operations is deriving equi-depth histograms as they are crucial in understanding the statistical properties of the underlying data with many applications including query optimization.In this thesis, we focus on approximate equi-depth histogram construction for big data and propose a novel merge based histogram construction method with a histogram processing framework which constructs an equi-depth histogram for a given time interval. The proposed method constructs approximate equi-depth histograms by merging exact equi-depth histograms of partitioned data by guaranteeing a maximum error bound on the number of items in a bucket (bucket size) as well as any range on the histogram. We also test Apache Pig User Define Functions of this proposed method in this thesis.
Benzer Tezler
- Ebubekir Hazım Tepeyran'ın hikayeleri ve romanları
Başlık çevirisi yok
SERPİL HAYBER
Yüksek Lisans
Türkçe
1986
Türk Dili ve EdebiyatıGazi ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
YRD. DOÇ. DR. BİLGE ERCİLASUN
- Yakup Kadri'nin romanlarında Anadolu
Başlık çevirisi yok
ABDÜLKADİR HAYBER
Yüksek Lisans
Türkçe
1985
Türk Dili ve EdebiyatıGazi ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
DOÇ. DR. BİLGE ERCİLASUN
- Platin halkalı atomik absorpsiyon tekniğinde pnomatik, elektronik, otomik taşıyıcı sisteminin yapımı ve (Cd, Pb, Zn) standart çözeltileri kullanılarak sistemin optimizasyonu
Başlık çevirisi yok
AHMET AVİNÇ
Doktora
Türkçe
1986
Kimya MühendisliğiEge ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF.DR. MEHMET AYDIN
- Le Non-naturalisme dans la Faute de I'Abbe Mouret d'Emile Zola
Başlık çevirisi yok
GÜRBÜZ SEZGİN
Yüksek Lisans
Fransızca
1986
Fransız Dili ve EdebiyatıCumhuriyet ÜniversitesiBatı Dilleri ve Edebiyatları Ana Bilim Dalı
YRD. DOÇ. DR. TUNA ERTEM
- Structures discursives dans“la grande peur dans la montagne”de Charles-Ferdinand Ramuz
Başlık çevirisi yok
NİLGÜN SÖKMEN
Yüksek Lisans
Fransızca
1985
Fransız Dili ve EdebiyatıCumhuriyet ÜniversitesiBatı Dilleri ve Edebiyatları Ana Bilim Dalı
YRD. DOÇ. DR. TUNA ERTEM