EdgeKV: Decentralized, scalable, and consistent storage for the edge
EdgeKV: Sınır bilişim için dağıtık, ölçeklenir ve tutarlı veri depolama sistemi
- Tez No: 640144
- Danışmanlar: PROF. DR. ÖZNUR ÖZKASAP
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
- Sayfa Sayısı: 72
Özet
Sınır bilişim, bulut bilişimin yüksek gecikmeli iletişim probleminin önüne geçebilmek için hesaplamayı veriye ve verileri kullanıcıya yakınlaştırır. Yerel veri depolama alan- larında depolama; otonom sürüş, makine görüşü, akıllı şebeke ve sanal gerçeklik gibi alanlarda gecikmeye duyarlı uygulamalar sağlayan yüksek hızlarla veri erişimine izin verir. Ancak, dağıtılmış hizmetler çoğunlukla bulut mimarisi için tasarlanmıştır. Ayrıca, etkin bir sınır özellikli depolama sistemi oluşturmak, kenarın dağıtılmış ve heterojen yapısı ve sınırlı kaynakları nedeniyle zorlayıcıdır. Bu tezde, ağ kenarı için tasarlanmış merkezi olmayan bir depolama sistemi olan EdgeKV'yi öneriyoruz. EdgeKV herhangi bir merkezi yönetim gerektirmez, ayrıca lokal altyapı kaynakları ve kullanıcı sayısı ile ölçeklenebilir. Buna ek olarak, EdgeKV, güçlü tutarlılık garantileri sağlarken veri çoğaltmayı kullanarak arızalara karşı hızlı ve güvenilir depolama sunar. EdgeKV, konum içermeyen ve arayüz tabanlı tasarımı sayesinde, heterojen kenar düğümleri sistemi ve değişen kaynaklar ile ölçeklenebilir özelliktedir. Hataya dayanıklı depolama sağlayan RSM (Çoğaltılmış Durum Makineleri) ile adil yük dengelemesi yapan DHT (Dağıtılmış Komut Çizelgesini) yapısını birleştirerek farklı kullanım durumları için yapılandırılabilen coğrafi dağıtılmış bir sistem elde edilmesini sağlar. Gecikmeye duyarlı uygulamaların tipik olarak iki veri türü vardır: yalnızca birbirine yakın az sayıda kullanıcıyla ilgili olan ve sıkı gecikme gereksinimleri gerektiren yerel veriler, sistemdeki tüm kullanıcılara açık olması gereken ve gecik- melere daha yüksek tolerans gösterebilen küresel veriler. EdgeKV gecikme gereksin- imlerindeki bu değişimi göz önünde bulundurur ve yerel sınır gruplarında depolanan yerel veriler için düşük gecikmeli erişim sağlar, ayrıca farklı konumlardaki sınır gru- plarına adil bir şekilde dağıtılan küresel veriler için de sistem genelinde kabul edilebilir bir başarımla erişim sağlamaya çalışır. Tez kapsamında, Golang ile EdgeKV modüllerinin sistem prototipi geliştirilmiş ve Grid'5000 dağıtık ortamında gerçekleştirilen deneylerle kapsamlı EdgeKV başarım analizi ve bulut depolama ile karşılaştırması yapılmıştır. Sistem performansını gerçekçi iş yükleri altında analiz etmek için YCSB (Yahoo! Cloud Serving Benchmark) kul- lanılmıştır. Analiz sonuçları EdgeKV'nin, aynı kurulum koşullarında hem yerel hem de küresel veri erişimiyle yapılan bulut depolama ayarından, ortalama yanıt süresinde %26, verimlilikte ise %19 daha iyi başarım göstermektedir. Ayrıca, EdgeKV'nin başarımdan ödün vermeden kullanıcı sayısıyla ölçeklenebileceğini göstermektedir. Son olarak, merkezi bir bulut yerine, EdgeKV ile yerel kaynakların kullanılması duru- munda enerji verimliliğini iyileştirmesini tartışıyoruz.
Özet (Çeviri)
Edge computing moves the computation closer to the data and the data closer to the user to overcome the high latency communication of cloud computing. Storage at the edge allows data access with high speeds that enable latency-sensitive appli- cations in areas such as autonomous driving, machine vision, smart grid, and virtual reality. However, several distributed services are typically designed for the cloud. In addition, building an efficient edge-enabled storage system is challenging because of the distributed and heterogeneous nature of the edge and its limited resources. In this thesis, we propose EdgeKV, a decentralized storage system designed for the network edge. EdgeKV does not require any central management and can scale with the edge infrastructure resources and the number of users. Besides, EdgeKV offers fast and reliable storage against failures, utilizing data replication while provid- ing strong consistency guarantees. With a location-transparent and interface-based design, EdgeKV can scale with a heterogeneous system of edge nodes and varying resource capabilities. Combining Replicated State Machines (RSM) that provide consistent fault-tolerant storage with a Distributed Hash Table (DHT) that allows fair load balancing results in a geo-distributed system that can be easily configured to serve different use cases. Latency-sensitive applications typically have two types of data: local data that is relevant only to a small number of users close to each other and requires strict latency requirements, and global data that should be avail- able to all users in the system and can tolerate higher latencies. EdgeKV considers this variation in latency requirements and provides low-latency access to local data, stored in local edge groups, and availability throughout the system to global data, fairly distributed over edge groups in different locations, with acceptable performance. We implement a prototype of the EdgeKV modules in Golang and evaluate it in both the edge and cloud settings with an emulated setup on the Grid'5000 testbed. We utilize the Yahoo! Cloud Serving Benchmark (YCSB) to analyze the system's performance under realistic workloads. Our evaluation results show that EdgeKV outperforms the cloud storage setting with both local and global data access with an average write response time and throughput improvements of 26% and 19% respec- tively under the same settings. Our evaluations also show that EdgeKV can scale with the number of clients, without sacrificing performance. Finally, we discuss the energy efficiency improvement when utilizing edge resources with EdgeKV instead of a centralized cloud.