Locality-aware distributed state partitioning for stream processing systems
Veri katarı işleme sistemleri için veri yerelliği farkındalığı olan dağıtık durum bölümlendirmesi
- Tez No: 445006
- Danışmanlar: DOÇ. DR. BUĞRA GEDİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2016
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 58
Özet
Günümuüzde çok sayıda orta katman uygulaması veri katarlarını işlemede kullanılmaktadır. Bu uygulamaların işlediği verinin boyutu düşünüldüğünde, bu uygulamaların veriyi paralel olarak işleyen düğümlere sahip olması kaçınılmazdır. Bu dağıtık veri katarı işleme uygulamaları veriyi anlık olarak çalışma sırasında işlemektedirler. Diğer bir deyişle bu uygulamalar büyük veri için gerçek zamanlı ve dağıtık işleme imkanı sağlarlar. Bu dağıtık düğümlerin durum yönetimi ile ilgili işlemler, bir düğümün bozukluğu, sağlama noktaları oluşturulması, verinin zenginleştirilmesi ve verinin tekrar bölümlere ayrılması gibi kullanım senaryolarından dolayı ele alınması gereken önemli bir görevdir. Bu tezde, dağıtık veri katarı uygulamaları için saydam, veri yerelliği farkındalığında bir durum yönetimi mekanizması sunulmaktadır. Önerilen mekanizma dağıtık veri katarı uygulamaları için veri yerelliği farkındalığı olan, saydam bir veri bölümlendirme ve durum yönetimi sistemi sağlamaktadır. Mekanizma veriyi, veri yerelliğini koruyarak bölümlendirmekte ve bölümlendirme şemasında gerçekleşebilecek olası değişimlerde, veriyi işleyen düğümler arasında durum verisinin saydam olarak aktarımını sağlamaktadır. Buna ek olarak, mekanizma veri ile ilgili saklama ünitesinde sağlama noktaları oluşturmak uzere yüksek performanslı bir durum yönetimi özelliği de sunmaktadır. Bu fikir, açık kaynaklı, dağıtık veri katarı motoru Apache Storm için bir tak-çıkar kütüphane olarak gerçeklenmiştir.
Özet (Çeviri)
Today, there are many applications that deal with high-volume data streams. These distributed stream processing applications process data on-the-fly and provide real-time distributed computing for big data. Due to the volume of data they process, some of these applications make use of data parallel nodes. The state management for distributed nodes in these applications is an important task to handle, because of different use cases such as: dealing with node failures, checkpointing, data enrichment, and re-partitioning. Therefore, distributed stream processing applications need a state management mechanism. In this thesis, we present a locality-aware state management mechanism for distributed stream processing applications. The proposed mechanism provides a transparent locality-aware data partitioning and state management system for distributed stream processing applications. The mechanism partitions data while preserving locality and handles state transfer among nodes transparently, in order to adapt to potential changes in the partitioning. In addition to this, it provides operators with a high-performance state management facility that can tackle check-pointing scenarios. The idea is implemented as a pluggable library for the open-source, distributed stream-processing engine, Apache Storm.
Benzer Tezler
- SEALA: Secure, efficient, availability, and locality-aware peer-to-peer cloud storage platform-as-a-service
Başlık çevirisi yok
YAHYA HASSANZADEH NAZARABADI
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Prof. Dr. ÖZNUR ÖZKASAP
Assoc. Prof. Dr. ALPTEKİN KÜPÇÜ
- A framework for task placement on multicore architectures
Çok çekirdekli mimariler üzerinde görev yerleştirme için çerçeve
PIRAH NOOR SOOMRO
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Assist. Prof. Dr. DİDEM UNAT
- Görevdeş ağlarda mantıksal katman kurulum başarımı üzerine bir çalışma
A comparative study of logical overlay construction and it's performance on peer to peer networks
ORHAN IŞIK
Yüksek Lisans
Türkçe
2010
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiUluslararası Bilgisayar Ana Bilim Dalı
PROF. DR. EMRULLAH TURHAN TUNALI
- Partitioning models for scaling distributed graph computations
Dağıtık çizge hesaplamalarının ölçeklendirilmesi için bölümleme yöntemleri
GÜNDÜZ VEHBİ DEMİRCİ
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CEVDET AYKANAT
- Locality aware task scheduling in heterogeneous computing environments
Heterojen hesaplama ortamlarında yersellik bilinçli görev çizelgeleme
ALPER KÖSE
Yüksek Lisans
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ.DR. HALUK TOPÇUOĞLU