Geri Dön

Federe makine öğrenmesi: Kavramlar, zorluklar, yöntemler

Federated machine learning: Concepts, challenges, and methods

  1. Tez No: 840125
  2. Yazar: MAKBULE MELİSA KILIÇ
  3. Danışmanlar: PROF. DR. EMRE AKTAŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 134

Özet

MC MAHAN ve ekibinin öncülük ettiği Federe öğrenmesi, ilk defa 2016 yılında Google'da ele alınmış olup, o tarihten beri bu konu ile ilgili çalışmalar artarak devam etmektedir. Ele alınan istemci-sunucu modelinde, istemciler veri içeren cihazlardır, bu istemciler sisteme eklenirler ve katılımcı olarak da adlandırılırlar. Hedef istemcilerdeki veriyi kullanarak makine öğrenmesinin eğitimini yapmaktır. Daha sonrasında eğitilmiş model yine istemcilerde kullanılacaktır. Bunun için bir yöntem, katılımcıların verilerini merkezi sunucuya aktarmaları, sunucuda bütün verinin kullanılarak eğitimin gerçekleştirilmesi, daha sonra eğitilmiş modelin katılımcılarla geri paylaşılmasıdır. Bu yöntem geleneksel merkezi makine öğrenmesidir. Federe öğrenmede ise katılımcılar ham veriyi merkezi sunucuya göndermezler. Bu yöntemde, sunucu ve katılımcılar birleşik olarak çalışarak verilerin cihazlardan çıkmamasına olanak tanınır. Gelişen teknoloji ile, verinin merkezi sunucu yerine kenar katılımcılarda olduğu uygulamalar artmakta, aynı zamanda kenar katılımcıdaki verinin büyüklüğü artmaktadır. Kenardaki büyük verinin merkeze aktarılmasının maliyeti ve ayrıca buradaki kişisel verilerin paylaşılmamasının hassasiyeti, federe öğrenmenin önemini gelecekteki sistemler için artırmaktadır ve bu araştırma konusunu çok incelenen bir alan haline getirmektedir. Federe öğrenmede istemciler, sunucudan gelen modelleri, kendi verilerini kendi cihazlarında kullanarak eğitirler. Oluşturulan yeni modeller sunucuda birleştirilerek tekrar cihazlara dağıtılır. Bu tez çalışmasında, federe makine öğrenmesinin temelleri incelenmiş ve anlatılmıştır. Federe öğrenmenin temel zorlukları olan sistem heterojenliği, istatistiksel heterojenlik ve veri düzensizliğinin ele alınmış ve etkileri incelenmiştir. Bu zorlukların üstesinden gelmek üzere literatürde yeni birleştirme yöntemleri geliştirilmesi güncel bir konudur. Bu tezde bu yöntemlerden FEDSGD, FEDAVGM ve FEDAVG incelenmiştir. Federe öğrenmeyi ve parametre değişikliklerinin sistem üzerindeki etkilerini incelemek için deneyler düzenlenmiştir. Yapılan deneylerde ayrıca federe öğrenme zorluklarından olan sistem heterojenliği, istatistiksel heterojenlik ve veri düzensizliği kavramlarının doğruluk, kayıp ve hesaplama süresi performansı üzerindeki etkisi FEDAVGM yöntemi için incelenmiştir. Model parametrelerinin her yinelemede değişim hızını kontrol etmek için farklı yöntemler vardır. Bunun için iki farklı yöntem olan FEDAVGM ve FEDAVG yöntemleri deneylerde karşılaştırılmıştır. Sonuç olarak öğrenme parametre seçiminin sistem performansı üzerinde belirgin etkilerinin olabileceği görülmüştür. Verilen parametre değerlerinin duruma en uygun şekilde seçilmediği durumlarda aşırı öğrenme yatkınlığı oluşabilmektedir. Sistem heterojenliğin öğrenme süresini nasıl uzattığı, veri düzensizliğinin cihazlarda farklılığa sebep olup hesaplama süresini uzatabildiği ve bunun çeşitli sorunlara yol açabileceği, istatistiksel heterojenliğin öğrenmeyi azaltıp dalgalanmaları arttırdığı deneylerde gözlemlenmiştir. Belirli durumlarda FEDAVGM, momentum ile sistemin geçmiş gradyan hesaplamalarına dayanarak sonuç verdiği için daha başarılı olduğu görülmüştür.

Özet (Çeviri)

The Federated Learning (FL) research, led by MC Mahan and his team, was first introduced at Google in 2016. Since then, this field has been increasing interest and ongoing research. In the client-server model used, the clients are devices that hold data and are referred to as participants. The goal is to train machine learning models using the data on the participating clients. The trained model is then used again on the clients. One approach is to have the participants send their data to a central server, where the training is performed using the entire data, and then share the trained model with the participants. This approach follows the traditional centralized machine learning paradigm. In federated learning, however, the participants do not send their raw data to the central server. Instead, the server and participants collaborate to ensure the data remains on the devices. With advancing technology, applications where data resides on edge participants rather than a central server, are increasing, and the size of data on edge participants is also growing. The cost of transferring large amounts of data from the edge to the center and the privacy concerns associated with sharing personal data highlight the importance of federated learning for future systems and make it a widely studied research area. In federated learning, the clients train the received models from the server using their data on their own devices. The newly generated models are then aggregated on the server and redistributed to the devices. This thesis examines and explains the fundamentals of federated machine learning. The critical challenges of federated learning, such as system heterogeneity, statistical heterogeneity, and data sparsity, are addressed, and their impacts are studied. Developing new aggregation methods to overcome these challenges is a current topic in the literature. In this thesis, three of these methods, FEDSGD, FEDAVGM, and FEDAVG, are investigated. Experiments are conducted to examine federated learning and the effects of parameter changes on the system. In these experiments, the impact of system heterogeneity, statistical heterogeneity, and data sparsity on accuracy, loss, and computation time performance is explicitly analyzed for the FEDAVGM method. Different methods exist to control the rate of parameter changes in each iteration. For this purpose, two different methods, FEDAVGM and FEDAVG, are compared in the experiments. The results show that selecting learning parameters can significantly affect the system's performance. Overfitting tendencies can arise when the parameter values are not chosen appropriately for the situation. It is observed through the experiments that system heterogeneity prolongs the learning time, data sparsity introduces variations across devices and increases computation time, and statistical heterogeneity reduces learning and increases oscillations. In specific cases, FEDAVGM has shown better performance, relying on past gradient calculations with momentum.

Benzer Tezler

  1. Privacy and security enhancements of federated learning

    Federe öğrenme uygulamalarında mahremiyet ve güvenlik geliştirmeleri

    ŞÜKRÜ ERDAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. ENVER ÖZDEMİR

    DR. FERHAT KARAKOÇ

  2. Federated anomaly detection for log-based defense systems

    Log tabanlı savunma sistemleri için federe olağandışılık tespiti

    UĞUR ÜNAL

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKadir Has Üniversitesi

    Yönetim Bilimleri Ana Bilim Dalı

    PROF. DR. HASAN DAĞ

  3. Makine öğrenmesi modellerinde yanlılıkla mücadele: Federe öğrenme yaklaşımları

    Mitigating bias in machine learning models: Federated learning approaches

    HAVANUR DERVİŞOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET FATİH AMASYALI

  4. Genomik çalışmalarda kullanılan makine öğrenmesi modellerinin blokzincir temelli bir eko sistemde federe öğrenme yöntemiyle geliştirilmesi için kavramsal bir çalışma

    A conceptual study for developing machine learning models used in genomic studies by federated learning method in a blockchain-based ecosystem

    ERKAN OKTAY

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medeniyet Üniversitesi

    Biyolojik Veri Bilimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ARAFAT SALİH AYDINER

    DR. ÖĞR. ÜYESİ MUHAMMED ERKAN KARABEKMEZ

  5. Federe öğrenme algoritmaları, açık kaynak çerçeve ve kütüphaneleri

    Federated learning algorithms, open source frameworks and libraries

    ÖMER FARUK GÖÇGÜN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    PROF. DR. FEMİN YALÇIN KÜÇÜKBAYRAK

    DOÇ. DR. AYTUĞ ONAN