Locality-aware distributed state partitioning for stream processing systems
Veri katarı işleme sistemleri için veri yerelliği farkındalığı olan dağıtık durum bölümlendirmesi
- Tez No: 445006
- Danışmanlar: DOÇ. DR. BUĞRA GEDİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 58
Özet
Günümuüzde çok sayıda orta katman uygulaması veri katarlarını işlemede kullanılmaktadır. Bu uygulamaların işlediği verinin boyutu düşünüldüğünde, bu uygulamaların veriyi paralel olarak işleyen düğümlere sahip olması kaçınılmazdır. Bu dağıtık veri katarı işleme uygulamaları veriyi anlık olarak çalışma sırasında işlemektedirler. Diğer bir deyişle bu uygulamalar büyük veri için gerçek zamanlı ve dağıtık işleme imkanı sağlarlar. Bu dağıtık düğümlerin durum yönetimi ile ilgili işlemler, bir düğümün bozukluğu, sağlama noktaları oluşturulması, verinin zenginleştirilmesi ve verinin tekrar bölümlere ayrılması gibi kullanım senaryolarından dolayı ele alınması gereken önemli bir görevdir. Bu tezde, dağıtık veri katarı uygulamaları için saydam, veri yerelliği farkındalığında bir durum yönetimi mekanizması sunulmaktadır. Önerilen mekanizma dağıtık veri katarı uygulamaları için veri yerelliği farkındalığı olan, saydam bir veri bölümlendirme ve durum yönetimi sistemi sağlamaktadır. Mekanizma veriyi, veri yerelliğini koruyarak bölümlendirmekte ve bölümlendirme şemasında gerçekleşebilecek olası değişimlerde, veriyi işleyen düğümler arasında durum verisinin saydam olarak aktarımını sağlamaktadır. Buna ek olarak, mekanizma veri ile ilgili saklama ünitesinde sağlama noktaları oluşturmak uzere yüksek performanslı bir durum yönetimi özelliği de sunmaktadır. Bu fikir, açık kaynaklı, dağıtık veri katarı motoru Apache Storm için bir tak-çıkar kütüphane olarak gerçeklenmiştir.
Özet (Çeviri)
Today, there are many applications that deal with high-volume data streams. These distributed stream processing applications process data on-the-fly and provide real-time distributed computing for big data. Due to the volume of data they process, some of these applications make use of data parallel nodes. The state management for distributed nodes in these applications is an important task to handle, because of different use cases such as: dealing with node failures, checkpointing, data enrichment, and re-partitioning. Therefore, distributed stream processing applications need a state management mechanism. In this thesis, we present a locality-aware state management mechanism for distributed stream processing applications. The proposed mechanism provides a transparent locality-aware data partitioning and state management system for distributed stream processing applications. The mechanism partitions data while preserving locality and handles state transfer among nodes transparently, in order to adapt to potential changes in the partitioning. In addition to this, it provides operators with a high-performance state management facility that can tackle check-pointing scenarios. The idea is implemented as a pluggable library for the open-source, distributed stream-processing engine, Apache Storm.
Benzer Tezler
- Ordu ili (Türkiye) tatlısu Gammaridea (Crustacea, Amphipoda) faunası üzerine bir araştırma
Study on freshwater Gammari̇dea (Crustacea, Amphipoda) fauna of Ordu (Turkey)
MEHMET EKİNCİ
Yüksek Lisans
Türkçe
2015
Balıkçılık TeknolojisiOrdu ÜniversitesiBalıkçılık Teknolojisi Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALİ MİROĞLU
- Öğrencilerde harita okuryazarlığının geliştirilmesine ilişkin sosyal bilgiler öğretmenlerinin görüşleri
The opinions of social studies teachers related to development about student's reading maps
MELTEM ELİF CENDEK
Yüksek Lisans
Türkçe
2015
CoğrafyaMarmara Üniversitesiİlköğretim Ana Bilim Dalı
DOÇ. DR. HAMZA AKENGİN
YRD. DOÇ. DR. GÜL TUNCEL
- Bilimin mahiyeti bağlamında Collins'in Felsefelerin Sosyolojisi
Collins' Sociology of Philosophies in the context of nature of science
YAKUP KALIN
Yüksek Lisans
Türkçe
2015
FelsefeYıldız Teknik ÜniversitesiFelsefe Ana Bilim Dalı
PROF. DR. ALPARSLAN AÇIKGENÇ
- Processing genitive possessive long distance dependencies in Turkish
Türkçe ilgi - iyelik yapılarından oluşan ayrık ilişkilerin işlemlenmesi
SEDA AKPINAR
Yüksek Lisans
İngilizce
2015
DilbilimBoğaziçi ÜniversitesiDilbilim Ana Bilim Dalı
DOÇ. DR. HAYRİYE MİNE NAKİPOĞLU DEMİRALP
- Conflict and mutual continuity between locality and modernism: Nordic architecture as a case study
Yerellik ve modernizmin çatışma ve uzlaşma zemini olarak Kuzey Avrupa Mimarlığı örneği
ERKUT SANCAR
Yüksek Lisans
İngilizce
2015
MimarlıkOrta Doğu Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. CELAL ABDİ GÜZER