State-machine based distributed key-value stores for edge computing

Uç hesaplama için durum makinesi tabanlı dağıtılmış anahtar-değer depolama sistemleri

PDF İndir

Tez No: 1024442
Yazar: BATUHAN CAN
Danışmanlar: PROF. DR. TOLGA OVATMAN
Tez Türü: Yüksek Lisans
Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
Anahtar Kelimeler: Dağıtık sistemler, Dağıtık veri tabanı sistemleri, Sınır bilişim, Uç hesaplama, Distributed systems, Distributed database systems, Edge computing, Edge calculation
Yıl: 2026
Dil: İngilizce
Üniversite: İstanbul Teknik Üniversitesi
Enstitü: Lisansüstü Eğitim Enstitüsü
Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
Sayfa Sayısı: Belirtilmemiş.

Özet

Uç bilişim, hesaplama ve veri depolama kaynaklarını kullanıcılara ve verinin üretildiği noktalara daha yakın konumlandırarak bulut tabanlı sistemlerde ortaya çıkan iletişim gecikmesini azaltmayı amaçlayan bir bilişim yaklaşımıdır. Geleneksel bulut sistemlerinde veriler uzak veri merkezlerine gönderilmekte, gerekli işlemler bu merkezlerde gerçekleştirilmekte ve sonuçlar tekrar kullanıcılara veya uç cihazlara iletilmektedir. Bu yöntem yüksek işlem kapasitesi sunsa da fiziksel mesafe, ağ yoğunluğu ve bağlantı sorunları nedeniyle gecikmeye yol açabilmektedir. Uç bilişim ise verilerin daha yakın kaynaklar üzerinde işlenmesini ve depolanmasını sağlayarak hem yanıt süresini azaltmakta hem de merkezi ağ altyapısına gönderilen veri miktarını sınırlandırmaktadır. Bu durum özellikle akıllı şebekeler, çevresel izleme, akıllı şehirler, endüstriyel otomasyon ve otonom sistemler gibi gerçek zamanlı uygulamalar için önemlidir. Bu tür uygulamalarda yalnızca doğru sonuçların üretilmesi yeterli değildir; sonuçların belirli bir zaman sınırı içerisinde elde edilmesi de gerekmektedir. Bu nedenle yalnızca hesaplama işlemlerinin değil, veriye hızlı ve güvenilir erişim sağlayan depolama sistemlerinin de uç katmanına taşınması gerekir. Bununla birlikte uçta veri depolamak önemli zorluklar içermektedir. Uç ağlar genellikle heterojen cihazlardan oluşur. Aynı sistem içerisindeki cihazların işlemci gücü, bellek miktarı, depolama kapasitesi ve ağ bağlantılarının güvenilirliği farklılık gösterebilir. Bazı düğümler yüksek kapasiteli ağ geçitleri veya sis sunucuları olabilirken diğerleri Raspberry Pi benzeri düşük güçlü cihazlardan oluşabilir. Ayrıca uç ağlar, her düğümün diğer bütün düğümlerle doğrudan iletişim kurabildiği tamamen bağlı kümeler yerine örgü veya kısmi örgü topolojilerine sahip olabilir. Bu yapılarda uzak bir düğüme ulaşabilmek için mesajların birden fazla ara düğüm üzerinden iletilmesi gerekebilir. Bu özellikler, güçlü tutarlılık protokollerine, kararlı ağ altyapısına ve tamamen bağlı kümelere dayanan geleneksel bulut odaklı dağıtık anahtar-değer depolarını uç ortamları için daha az uygun hale getirmektedir. etcd ve Apache ZooKeeper gibi sistemler, güvenilir koordinasyon ve güçlü tutarlılık sağlamak amacıyla RAFT ve ZAB gibi protokollerden yararlanmaktadır. Ancak bu protokoller, işlemlerin tamamlanabilmesi için yoğun iletişim ve çoğunluk onayı gerektirebilir. Kararsız veya yüksek gecikmeli uç ağlarında bu durum yanıt süresinin artmasına ve kullanılabilirliğin azalmasına neden olabilir. Bu tezde, uç ortamlarının gereksinimlerini karşılamak amacıyla geliştirilen iki farklı dağıtık anahtar-değer deposu sunulmaktadır. İlk sistem olan pire-store, örgü veya kısmi örgü ağlarda bulunan uç cihazlar üzerinde doğrudan çalışabilen hafif ve eşler arası bir depolama sistemi oluşturmayı amaçlamaktadır. İkinci sistem olan GateKV ise ağ geçidi düğümleri ile depolama düğümlerini birbirinden ayıran rol tabanlı bir mimari kullanarak koordinasyon görevlerini daha güçlü cihazlara taşımaktadır. pire-store içerisindeki her düğüm, istemci iletişimi için bir HTTP sunucusu ve komşu depolama düğümleriyle iletişim kurmak için bir RPC sunucusu içermektedir. Sistem, her isteğin bütün düğümlere gönderildiği tam yayın yaklaşımı yerine set, get, remove ve doğrulama işlemleri için eşler arası dağıtık protokoller kullanmaktadır. Böylece her işlem sırasında ağdaki tüm düğümlerin gereksiz yere meşgul edilmesi önlenmektedir. İsteklerin ilgili düğümlere yönlendirilebilmesi amacıyla pire-store, ortak sahiplik meta verileri tutmaktadır. Bu bilgiler, belirli bir anahtarın hangi komşu düğümde veya ağın hangi bölümünde bulunma olasılığının daha yüksek olduğunu göstermektedir. Bir düğüm aranan anahtarı yerel depolamasında bulamadığında isteği bütün komşularına iletmek yerine anahtarı depolama olasılığı yüksek olan düğümlere yönlendirebilir. Böylece gereksiz mesaj sayısı azalmakta, ağ kaynakları daha verimli kullanılmakta ve verilere erişim süresi kısalmaktadır. Kalıcı RPC bağlantılarının kullanılması da her istek için yeniden bağlantı kurulmasının oluşturacağı ek maliyeti azaltmaktadır. pire-store, yüksek eşzamanlılığı desteklemek amacıyla birden fazla işleyici kullanmaktadır. Aynı anahtar üzerinde eş zamanlı olarak gerçekleştirilen okuma, yazma ve silme işlemlerinin doğru biçimde düzenlenmesi için anahtar düzeyinde çoğaltılmış durum makinelerinden yararlanılmaktadır. Bu yaklaşım, bütün veri deposunu etkileyen tek bir küresel kilidin kullanılmasını önlemektedir. Böylece farklı anahtarlar üzerindeki işlemler paralel biçimde yürütülebilirken yalnızca aynı anahtarı etkileyen işlemler kendi aralarında koordine edilmektedir. Sistem, sürümlendirilmiş çoğaltma ve asenkron doğrulama yoluyla nihai tutarlılık sağlamaktadır. Bir anahtarın farklı düğümlerde bulunan kopyaları sürüm bilgileri kullanılarak takip edilmekte ve zaman içerisinde aynı değere yakınsamaktadır. Bazı düğümler kısa bir süre için eski bir sürümü saklayabilse de doğrulama mekanizmaları bu farklılıkları daha sonra gidermektedir. Bu yaklaşım, istemci işlemlerinin bütün kopyalar güncellenene kadar bekletilmesini engellediği için yanıt süresini azaltmakta ve ağ bağlantılarındaki geçici sorunlar sırasında sistemin kullanılabilirliğini korumaktadır. Raspberry Pi cihazları üzerinde gerçekleştirilen deneyler, pire-store'un özellikle eşzamanlı istemci sayısı arttığında etkili olduğunu göstermektedir. Anahtar düzeyinde paralellik, hafif iletişim protokolleri ve sınırlı koordinasyon sayesinde sistem yüksek istemci yükü altında daha iyi ölçeklenmektedir. Deney sonuçlarına göre pire-store, yüksek eşzamanlılık koşullarında etcd ve Apache ZooKeeper'dan yaklaşık %30 daha hızlı performans göstermektedir. Tez kapsamında geliştirilen ikinci sistem olan GateKV, pire-store ile ortaya konan yaklaşımı rol tabanlı ve ağ geçidi kullanan bir mimariyle genişletmektedir. GateKV, bütün uç cihazları eşit kabul etmek yerine düğümleri ağ geçidi düğümleri ve depolama düğümleri olarak iki gruba ayırmaktadır. Depolama düğümleri gerçek anahtar-değer çiftlerini saklamak ve temel depolama işlemlerini yürütmekle sorumludur. Ağ geçidi düğümleri ise meta veri yönetimi, anahtar düzeyinde kilitler, işlem günlükleri, senkronizasyon ve tutarlılık yönetimi gibi daha karmaşık görevleri üstlenmektedir. Bu rol ayrımı, uç ortamlarında yaygın olarak görülen cihaz heterojenliğinin daha etkili biçimde kullanılmasını sağlamaktadır. Kaynakları sınırlı depolama düğümleri karmaşık koordinasyon işlemleriyle meşgul edilmemekte ve kapasitelerini doğrudan veri saklama ve erişim görevleri için kullanabilmektedir. Daha güçlü ağ geçidi veya sis düğümleri ise sistemin kontrol katmanını oluşturmaktadır. Böylece veri düzlemi ile kontrol düzlemi arasında daha belirgin bir ayrım elde edilmektedir. GateKV'de aynı anahtar üzerinde gerçekleştirilen eşzamanlı işlemlerin düzenlenmesi için anahtar düzeyinde kilitler ve durum makineleri kullanılmaktadır. Ağ geçidi düğümleri, kabul edilen yazma işlemlerini işlem günlüklerine kaydetmekte ve güncellemelerin diğer ağ geçitlerine aktarılmasını sağlamaktadır. Ağ geçitleri arasındaki durum paylaşımı ise dedikodu tabanlı bir senkronizasyon mekanizmasıyla gerçekleştirilmektedir. Bu mekanizmada güncellemeler zaman içerisinde sistem geneline yayılmakta ve düğümler aynı duruma yakınsamaktadır. Böylece bütün düğümlerin her işlem sırasında eşzamanlı olarak iletişim kurması gerekmemektedir. GateKV ayrıca yazma isteklerini ağ geçidi düğümlerine, okuma isteklerini ise mümkün olduğunda doğrudan depolama düğümlerine yönlendiren istemci taraflı bir yük dengeleyici kullanmaktadır. Bu yaklaşım, okuma işlemlerinin gereksiz biçimde ağ geçidi katmanından geçmesini engellemekte, yeniden yönlendirme maliyetini azaltmakta ve ağ geçidi düğümleri üzerindeki yükü düşürmektedir. Raspberry Pi kümesi üzerinde gerçekleştirilen deneylerde GateKV; etcd, Apache ZooKeeper ve pire-store ile karşılaştırılmıştır. Sonuçlar, GateKV'nin daha yüksek aktarım hızı elde ettiğini ve bazı deney koşullarında 2,08 kata kadar hızlanma sağladığını göstermektedir. Kavramsal olarak pire-store, tezin temel depolama ve iletişim katmanını oluşturmaktadır. Sistem; ortak sahiplik tabloları, kalıcı RPC bağlantıları, çoğaltılmış durum makineleri ve hafif eşler arası protokoller kullanarak kısmi örgü uç ağlarında dağıtık bir anahtar-değer deposunun nasıl uygulanabileceğini göstermektedir. GateKV ise bu yaklaşımın mimari bir gelişimi olarak değerlendirilebilir. pire-store'da her düğüm hem veri depolama hem de protokol yürütme görevlerine katılırken GateKV'de görevler cihaz rollerine göre ayrılmakta ve koordinasyon daha güçlü ağ geçidi düğümlerine aktarılmaktadır. Her iki sistem de uç ağları için geliştirilen dağıtık anahtar-değer depolarının ağır konsensüs mekanizmalarından kaçınması gerektiği düşüncesini paylaşmaktadır. Uç ortamlarında düşük gecikme, yüksek kullanılabilirlik ve bağlantı sorunları sırasında işlemlerin sürdürülebilmesi, bazı uygulamalar için anlık güçlü tutarlılıktan daha önemli olabilir. Bu nedenle pire-store ve GateKV; hafif koordinasyon, veri çoğaltma, anahtar düzeyinde eşzamanlılık kontrolü ve nihai tutarlılık mekanizmalarından yararlanmaktadır. Sonuç olarak bu tez, uç ortamlarında veri depolamanın mevcut bulut sistemlerinin doğrudan düşük güçlü cihazlara taşınmasıyla çözülemeyeceğini göstermektedir. Cihaz heterojenliği, kısmi örgü ağ topolojileri, sınırlı kaynaklar ve kararsız bağlantılar, depolama sistemlerinin bu koşullara özel olarak tasarlanmasını gerektirmektedir. pire-store eşler arası ve merkeziyetsiz bir çözüm sunarken GateKV rol tabanlı ve ağ geçidi destekli daha katmanlı bir mimari ortaya koymaktadır. Birlikte değerlendirildiğinde bu iki sistem, düşük gecikme, yüksek eşzamanlılık, hata toleransı ve nihai tutarlılığı destekleyen hafif bir uç depolama yaklaşımı sunmakta ve geleneksel güçlü tutarlılıklı sistemlere uç ortamları için daha uygun bir alternatif oluşturmaktadır.

Özet (Çeviri)

Edge computing reduces the latency of cloud-based systems by moving computation and data storage closer to users and data sources. This is especially important for real-time applications such as smart grids, environmental monitoring, smart cities, and autonomous systems. However, storing data at the edge is challenging since edge networks are usually heterogeneous, meaning that devices in the edge network may be different kind, these devices are also resource-constrained. Devices may have different processing power, memory, storage capacity, and network reliability. In addition, edge networks may form partial mesh topologies, where every node can not directly communicate with every other node. These characteristics make traditional cloud-oriented distributed key-value stores less suitable for edge environments, especially when they rely on strong consistency protocols, stable infrastructure, or fully connected clusters. In this thesis, two different distributed key-value store designs are introduced. The first system, pire-store, focuses on building a low-level distributed key-value store that can operate directly on edge devices arranged in mesh or partial mesh networks. Each node includes an HTTP server for client communication and an RPC server for communication with neighboring storage nodes. Instead of relying on full broadcast, pire-store uses peer-to-peer distributed protocols for set, get, remove, and validation operations. It also maintains co-owner metadata, which helps nodes route requests to neighbors that are likely to store the requested key. This reduces unnecessary message forwarding and improves responsiveness. To support concurrency, pire-store uses multiple handlers and a key-level replicated state machine mechanism that coordinates read and write operations for each stored key. It provides eventual consistency through versioned replication and asynchronous validation. Experiments on Raspberry Pi devices show that pire-store becomes more effective as the number of simultaneous clients increases and performs approximately 30\% faster than etcd and Apache ZooKeeper under higher concurrency. The second system, GateKV, extends this idea by introducing a role-based and gateway-utilized architecture. Instead of treating all edge devices equally, GateKV separates the system into gateway nodes and storage nodes. Storage nodes are responsible for storing actual key-value pairs and executing simple storage operations. Gateway nodes form a fog-like coordination layer that manages metadata, key-level locks, transaction logs, gossip-based synchronization, and consistency between storage clusters. This role separation is important because edge devices may have limited resources, while gateway or fog nodes can handle more complex coordination tasks. GateKV therefore reduces the burden on storage nodes and allows the system to better exploit heterogeneous device capacities. The proposed design shows higher throughput and up to 2.08x speedup compared with etcd, Apache ZooKeeper, and pire-store in Raspberry Pi cluster experiments. Conceptually, pire-store can be seen as the foundation layer of the thesis: it demonstrates how a distributed key-value store can be implemented directly over partial mesh edge networks using replicated state machines, co-owner tables, persistent RPC stubs, and lightweight distributed protocols. GateKV can be seen as the architectural evolution of this foundation: it reorganizes the same core ideas into a more scalable edge-fog design by introducing gateway nodes that coordinate clusters of storage nodes. In pire-store, each node participates in both storage and protocol execution, while in GateKV, responsibilities are divided according to device roles. This creates a clearer separation between the data plane and the control plane. Storage nodes handle data access, while gateway nodes manage synchronization and consistency. Both systems share the same idea: a distributed key-value store for edge networks should avoid heavyweight consensus when low latency is more important than strict consistency, and it should instead use lightweight coordination, replication, key-level concurrency control, and eventual consistency. pire-store achieves this through peer-to-peer protocols and version validation, while GateKV achieves it through gateway-managed state machines and gossiping between gateway nodes. GateKV also adds a client-side load balancer, which sends write requests toward gateway nodes and read requests toward storage nodes, reducing unnecessary redirection overhead. Together, the two works form a unified contribution: they propose, implement, and evaluate a lightweight distributed key-value storage approach for edge environments. The result of the thesis is two different storage systems that both support low latency, high concurrency, fault tolerance, and eventual consistency while remaining suitable for resource-limited edge devices. Compared with traditional systems such as etcd and ZooKeeper, which use strong consistency mechanisms like RAFT and ZAB, the proposed approaches are more aligned with edge requirements because it prioritizes responsiveness and availability under constrained and unstable network conditions.

Benzer Tezler

Tez No
252
İzmir'de bazı yolların kapatılarak yaya bölgeleri oluşturma da kent peyzajını geliştirme açısından yeniden planlanması üzerinde araştırmalar
Başlık çevirisi yok
BAHAR TÜRKYILMAZ
Yüksek Lisans
Türkçe
1985
Şehircilik ve Bölge Planlama Ege Üniversitesi
Şehir ve Bölge Planlama Ana Bilim Dalı
Tez No
311
Devlet Denetleme Kurulu
Başlık çevirisi yok
RIZA YURDDAŞ
Yüksek Lisans
Türkçe
1987
Kamu Yönetimi Gazi Üniversitesi
Kamu Yönetimi Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN ARSLAN
Tez No
262
Dokuma kumaşlarda örgü tipinin ham kumaşın boyutları ve geometrik özellikleri üzerindeki etkilerinin araştırılması
Başlık çevirisi yok
EMEL ÖNDER
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil Mühendisliği Ege Üniversitesi
Tekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNGÖR BAŞER
Tez No
216
İsmayıl Hakkı Baltacıoğlu'nun kültür ve eğitim kavramı üzerine bir inceleme
An Examination of the concepts of culture and education of Ismayıl Hakkı Baltacıoğlu
ABDULLAH DİKİCİ
Doktora
Türkçe
1986
Eğitim ve Öğretim Uludağ Üniversitesi
Eğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. SUAT ANAR
Tez No
271
Değişik derim zamanı ve önsoğutmanın Bursa siyahı incir çeşidinin meyve kalitesi ve pazarlama süresi üzerine etkileri
Effects of haruest time and precooling on fruit quality and shelf-life of the fig variety“Bursa siyahı”
FÜSUN GÜRSEL ÇELİKEL
Yüksek Lisans
Türkçe
1985
Gıda Mühendisliği Ege Üniversitesi
Bahçe Bitkileri Ana Bilim Dalı

Geri Dön