Geri Dön

FLAGS framework and decentralized federated learning under device volatility

FLAGS platformu ve cihaz dalgalanması durumunda merkeziyetsiz federe öğrenme

PDF İndir

  1. Tez No: 836741
  2. Yazar: AHNAF HANNAN LODHI
  3. Danışmanlar: PROF. DR. ÖZNUR ÖZKASAP, YRD. DOÇ. DR. BARIŞ AKGÜN
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 135

Özet

Federe Öğrenme (FL), dağıtık makine öğrenimi için önemli bir seçenek haline gelmiştir. Başlangıçta merkezi birleştirme üzerine odaklanan FL'deki son çalışmalar, yeni nesil iletişim ağlarında sunucusuz etkileşimin standartlaştırılmasını destekleyen merkezi olmayan yaklaşımlara vurgu yapmıştır. Ancak cihazların çeşitliliği, veri dağılımları ve iletişim ayarları, dinamik işletme koşulları tarafından karmaşık hale getirilmiş ve bu durum Merkeziyetsiz Federe Öğrenmenin (DFL) birden fazla zorlukla karşılaşmasına neden olmuştur. DFL konusunda, sınır sunucularını kullanmaktan tamamen cihazdan cihaza yaklaşımlara kadar farklı yöntemler bulunmaktadır. Merkezi olmayan durumda iletişim maliyeti ve öğrenme performansı genellikle bir arada değerlendirilir ve senaryolara dayalı belirli bir denge kurulur. Ancak, DFL yaklaşımlarını çok sayıda senaryo ve çalışma koşulu altında eşit durumda karşılaştırmak için literatürde eksiklik bulunmaktadır. Bu yöntemler ile karşılaştırılabilir analiz arasındaki boşluğu kapatmak amacıyla, Federe Öğrenme Algoritmaları Simülasyon (FLAGS) Platformunu tasarlayıp geliştirdik. Birçok DFL yönteminin özellikle tamamen merkeziyetsiz yaklaşımlar için cihaz erişilebilirliğindeki aşırı dalgalanmalar önemli bir zorluk olarak öne çıkmaktadır. Bu cihaz dalgalanması, zayıf öğrenme başarımına yol açar. Bu sorun kapsamında, çevre seçiminin, belleğin ve çoklu atlama bilgisi iletimin DFL başarımı üzerindeki etkilerini araştırdık. Gerçekçi ve yüksek derecede dalgalı cihaz katılım koşulları altında çalışabilen tamamen merkeziyetsiz bir FL yaklaşımı sunuyoruz. Bu tezin temel katkıları şu şekilde özetlenebilir: (i) birçok yöntemi karşılaştırmak için hafif bir FL simülasyon platformu geliştirilmesi, (ii) bu platformda bir dizi işletme koşulunda birçok FL yönteminin analizi ve karşılaştırılması, (iii) yoğun cihaz dalgalanması altında çeşitli düğüm seçimi stratejilerinin deneysel analizi ve (iv) bellek ve iletimli iletişimi kullanarak FL başarımını geliştirmek için gerçekçi işletme koşulları ve yoğun cihaz dalgalanması altında çalışabilen yeni bir algoritma geliştirilmesi. Federe Öğrenme, ağ kenarında geniş bir düğüm etkileşimi ve otonom işlemleri destekler. Bu çok yönlü heterojenliği kapsamak amacıyla FLAGS simülatörü, hafif bir FL uygulama ve test platformu olarak geliştirilmiştir. FLAGS platformu, geniş kapsamlı cihaz davranışları ve işbirliği mekanizmaları için olanak tanır ve böylelikle çeşitli FL algoritmalarının hızlı bir şekilde test edilmesine olanak verir. FLAGS özellikleri, mevcut ve yeni FL algoritmalarının geniş bir veri dağılımında test edilmesine olanak tanır, düğümleri birden çok sinir ağıyla ve homojen katılımdan yüksek derecede dalgalı katılıma kadar çeşitli cihaz katılım koşullarında simüle edebilir. Farklı ağ katmanları ve iletişim mekanizmaları, çeşitli FL algoritmalarının yukarıda bahsedilen faktörlerin birleşimlerini kullanarak yapılandırılmasına olanak tanır. Bu çok kapsamlı FL yaklaşımlarını bir araya getirmek ve temel FL algoritmalarının nesnel bir analizini sunmak amacıyla bir dizi kapsamlı analiz gerçekleştirilmiştir. Hiyerarşik FL (HFL), Merkeziyetsiz FL (DFL) ve Salgın FL (GFL) gibi üç temel FL algoritması ile başlayarak, bu çalışma tamamen merkezi olanlardan tamamen merkezi olmayanlara kadar uzanan altı algoritmanın analizi yapılmışır. Deneyler, özellikle asenkron birleştirme ve geciken düğümlerin varlığı gibi bir dizi çalışma koşulu altında tamamen merkeziyetsiz FL algoritmalarının karşılaştırılabilir doğruluk elde ettiğini göstermektedir. Ayrıca, DFL gürültülü ortamlarda da çalışabilir ve daha yüksek yerel güncelleme oranına sahip olabilir. Bununla birlikte, aşırı eğri veri dağılımlarının DFL üzerindeki etkisi, merkezi yaklaşımlara kıyasla daha olumsuzdur. Çapraz değerlendirmenin analizi, DFL başarımının düğüm katılımından oldukça etkilendiğini göstermektedir. Tezin bu bölümü, gerçekçi ve dalgalı cihaz davranışı altında DFL başarımını iyileştirmeye odaklanmaktadır. İletişim verimliliğini ve yakınsama hızını iyileştirmek için çeşitli düğüm seçimi mekanizmalarıyla deneyler yapılmıştır. Farklı düğüm seçim mekanizmaları ile deneyler gerçekleştirilerek, DFL için doğruluğu ve bunun tur başına değişimini kullanan zamanla değişen parametreli bir düğüm seçim yöntemi önerilmiştir. Bu ölçütler, seyrek ağlarda hem sert hem de stokastik/yumuşak seçim kullanılarak değerlendirilmiştir. Sonuçlar, düğüm seçimi ile ilişkilendirilen önyargının, eğitim ilerledikçe başarımı olumsuz etkilediğini ve aşırı sınırlı katılım koşulları altında rastgele bir seçimin tercih edilebilir olduğunu göstermektedir. Geciken düğümler ve katılmayan düğümlerin bulunduğu seyrek çizgeler üzerinde çalışan DFL başarımını iyileştirmek için mekanizmalar geliştirdik. Öncelikle, Bellek Destekli DFL (MA\_DFL) ve Artırılmış Çizge Destekli DFL (AG\_DFL) olmak üzere iki algoritma önerdik. Bu algoritmalar belleği ve seçici iletimi kullanarak DFL başarımını iyileştirmektedir. Her iki algoritma da dalgalı düğüm katılımı için temel DFL ve salgın etkileşimi yaklaşımlarından daha iyi başarım göstermektedir. Ardından, bu iki algoritmanın bir melezini önerdik: Bellek ve Artırılmış Çizge Destekli DFL (MAG\_DFL), yüksek derecede dalgalı cihazlar ve aşırı veri koşulları altındaki DFL başarımını iyileştirmek için belleği ve çizge artırımını kullanan bir algoritmadır. Bu tezde yürütülen araştırmalar, dalgalı koşullarda DFL işleyişine yönelik çok yönlü zorlukları değerlendirir ve başarımını iyileştirmek için mekanizmalar önerir. Çalışmamız, DFL'nin sınır ağı boyunca dağıtılan öğrenme işlemlerine yardımcı olma potansiyeline işaret etmektedir. Maliyetli yukarı yönlü iletişim veya sınırlı bağlantı durumlarında FL'yi iyileştirmel için kullanılabilir. Ancak, düğüm yoğunluğu DFL üzerinde önemli bir etkiye sahiptir ve seyrek ağlar, dalgalı cihaz davranışı ve homojen olmayan veri dağılımları, yakınsama hızını azaltma eğilimindedir. Geliştirilmiş komşuluk etkileşimi ve yerel bilginin akıllıca kullanımı, böyle olumsuz koşullar altında DFL başarımını artırma potansiyeline sahiptir. Bu tezde sunulan analizler, algoritmalar ve sonuçlar, DFL'nin gelecek nesil iletişim ağlarında daha fazla gelişmenin ve pratik uygulamanın yolunu açmaktadır.

Özet (Çeviri)

Federated Learning (FL) has become a key choice for distributed machine learning. Initially focused on centralized aggregation, recent works in FL have emphasized greater decentralization supported by standardization of serverless interaction in the next-generation communication networks. However, the diversity of devices, data distributions, and communication settings, compounded by dynamic operating conditions, result in multiple challenges for Decentralized FL (DFL). There have been various approaches to DFL, from utilizing intermediate edge servers to fully device-to-device approaches. In decentralized settings, communication cost and learning performance are usually assessed together and certain trade-offs are made based on scenarios. However, there is a lack of existing work on comparing DFL approaches in an apples-to-apples manner in a multitude of scenarios and operating conditions. To bridge this gap between methods and their comparative analysis, we design and develop the Federated Learning Algorithms Simulation (FLAGS) Framework. One important challenge we noticed that most DFL methods struggle with is the extreme fluctuations in device availability, especially for purely decentralized approaches. This \textbf{device volatility} leads to poor learning performance. To address this issue, we investigate the effects of neighborhood selection, memory and multi-hop information passing on DFL performance. We introduce a fully decentralized FL approach that can operate under realistic and highly volatile device participation settings. The key contributions of this thesis are as follows: (i) development of a lightweight FL framework for benchmarking a large plethora of methods, (ii) analysis and comparison of multiple FL methods with this framework under multiple operating conditions, (iii) empirical analysis of various node selection strategies under heavy device volatility, and (iv) utilizing memory and relayed communication to enhance device-to-device FL by developing a novel algorithm that can operate under realistic operating conditions and heavy device volatility. Federated Learning supports a wide variety of node interactions and autonomous operations across the network edge. With the aim to encompass this multi-faceted heterogeneity, the FLAGS framework was proposed and developed as a lightweight FL implementation and testing platform. FLAGS framework allows for a wide range of device behaviors and cooperation mechanisms, enabling rapid testing of multiple FL algorithms. FLAGS's built-in features allow it to subject existing and novel FL algorithms to a wide range of data distributions, simulating the nodes with multiple neural networks as well as participation conditions ranging from homogeneous to highly volatile. Different network tiers and communication mechanisms enable various FL algorithms to be configured by employing various combinations of the aforementioned factors. In order to consolidate this very extensive FL landscape and offer an objective analysis of the major FL algorithms, comprehensive cross-evaluations for a wide range of operating conditions have also been conducted. Starting with the three foundational FL algorithms, including Hierarchical FL (HFL), Decentralized FL (DFL), and Gossip FL (GFL), this work evaluates six derived algorithms ranging from fully centralized to fully decentralized. The experiments indicate that fully decentralized FL algorithms achieve comparable accuracy under multiple operating conditions, including asynchronous aggregation and the presence of stragglers. Furthermore, DFL can also operate in noisy environments and with a comparably higher local update rate. However, the impact of extremely skewed data distributions on DFL is much more adverse than on centralized variants. The analysis of the cross-evaluation indicates that DFL performance is considerably impacted by node participation. This part of the thesis focuses on improving DFL performance under realistic and volatile device behavior. Node selection in various forms has been experimented with to improve both communication efficiency and convergence rate. We experimented with multiple node selection mechanisms and also proposed and evaluated a time-varying parameterized node selection method for DFL employing validation accuracy and its per-round change. The mentioned criteria are evaluated using both hard and stochastic/soft selection on sparse networks. The results indicate that the bias associated with node selection adversely impacts performance as training progresses, and a uniform random selection is preferable under extremely limited participation conditions. Continuing with volatile conditions, we investigate and propose mechanisms to improve DFL operating on sparse graphs in the presence of stragglers and non-participating nodes. We first propose two algorithms: Memory-Assisted DFL (MA_DFL) and Augmented-Graph Assisted DFL (AG_DFL). These algorithms employ memory and selective relaying to improve DFL performance. Both algorithms outperform the baseline DFL and gossip interaction for volatile node participation. Then, we propose a hybrid of these two algorithms, Memory and Augmented-Graph Assisted DFL (MAG_DFL), that employs memory and graph augmentation to improve the performance of DFL under highly volatile devices and extreme data conditions. The research conducted in this thesis evaluates the multi-faceted challenges to the DFL operation in volatile conditions and proposes mechanisms to improve its performance. Our work indicates that DFL holds the potential to assist learning operations distributed across the edge network. It may be used to augment the FL in the presence of costly upstream communication or limited connectivity. However, node density has a major impact on DFL, and sparse networks, along with volatile device behavior and non-IID distributions, tend to reduce its convergence rate. The enhanced neighborhood interaction and intelligent use of local information has the potential to improve DFL performance under such adverse conditions based on the presented results. The analysis, algorithms and results presented in this thesis pave the way for additional developments and more practical applications of DFL in the next-generation communication networks.

Benzer Tezler

  1. Tez No

    254278

    Temettüat Defterlerinde Eğrigöz (Emet ve Hisarcık) Nahiyesi'nin sosyo-ekonomik yapısı

    The socio-economic structure of Eğrigöz (Emet and Hisarcık) county in the Temettüat Defterleri

    ABDULHAMİT BATKİTAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2010

    EkonomiMarmara Üniversitesi

    İktisat Bölümü

    PROF. DR. GÜLFETTİN ÇELİK

  2. Tez No

    774798

    Hilal sembolü ve İslam

    Crescent symbol and Islam

    HİLAL KURT

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    DinAkdeniz Üniversitesi

    Felsefe ve Din Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AYŞE AKINCI AMBAROĞLU

  3. Tez No

    861427

    Suriyeli göçmenlerde ümmet algısı: İstanbul örneği

    Syrian immigrants and their sense of ummah: The case of Istanbul

    HÜLYA ŞEKERCİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Sosyolojiİstanbul Üniversitesi

    Felsefe ve Din Bilimleri Ana Bilim Dalı

    DOÇ. DR. BİRSEN BANU OKUTAN

  4. Tez No

    871720

    Çağdaş Azerbaycan şiiri'nde Türkiye

    Türkiye in contemporary Azerbaijan poetry

    LALAZAR SARKHANOVA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Türk Dili ve EdebiyatıEge Üniversitesi

    Türk Dünyası Edebiyatları Ana Bilim Dalı

    PROF. DR. ALİ EROL

  5. Tez No

    869694

    Milli sinema'da aşk temasının Yücel Çakmaklı filmleri bağlamında değerlendirilmesi: Birleşen Yollar, Oğlum Osman ve Memleketim filmi örnekleri

    The evaluation of the theme of love in national cinema within the context of Yücel Çakmaklı movies: Connecting roads, My Son Osman and My Country film examples

    EMRAH GÖKDUMAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Radyo-TelevizyonKastamonu Üniversitesi

    Radyo Televizyon ve Sinema Ana Bilim Dalı

    DOÇ. DR. ERSOY SOYDAN

Geri Dön