Federe makine öğrenmesi: Kavramlar, zorluklar, yöntemler
Federated machine learning: Concepts, challenges, and methods
- Tez No: 840125
- Danışmanlar: PROF. DR. EMRE AKTAŞ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 134
Özet
MC MAHAN ve ekibinin öncülük ettiği Federe öğrenmesi, ilk defa 2016 yılında Google'da ele alınmış olup, o tarihten beri bu konu ile ilgili çalışmalar artarak devam etmektedir. Ele alınan istemci-sunucu modelinde, istemciler veri içeren cihazlardır, bu istemciler sisteme eklenirler ve katılımcı olarak da adlandırılırlar. Hedef istemcilerdeki veriyi kullanarak makine öğrenmesinin eğitimini yapmaktır. Daha sonrasında eğitilmiş model yine istemcilerde kullanılacaktır. Bunun için bir yöntem, katılımcıların verilerini merkezi sunucuya aktarmaları, sunucuda bütün verinin kullanılarak eğitimin gerçekleştirilmesi, daha sonra eğitilmiş modelin katılımcılarla geri paylaşılmasıdır. Bu yöntem geleneksel merkezi makine öğrenmesidir. Federe öğrenmede ise katılımcılar ham veriyi merkezi sunucuya göndermezler. Bu yöntemde, sunucu ve katılımcılar birleşik olarak çalışarak verilerin cihazlardan çıkmamasına olanak tanınır. Gelişen teknoloji ile, verinin merkezi sunucu yerine kenar katılımcılarda olduğu uygulamalar artmakta, aynı zamanda kenar katılımcıdaki verinin büyüklüğü artmaktadır. Kenardaki büyük verinin merkeze aktarılmasının maliyeti ve ayrıca buradaki kişisel verilerin paylaşılmamasının hassasiyeti, federe öğrenmenin önemini gelecekteki sistemler için artırmaktadır ve bu araştırma konusunu çok incelenen bir alan haline getirmektedir. Federe öğrenmede istemciler, sunucudan gelen modelleri, kendi verilerini kendi cihazlarında kullanarak eğitirler. Oluşturulan yeni modeller sunucuda birleştirilerek tekrar cihazlara dağıtılır. Bu tez çalışmasında, federe makine öğrenmesinin temelleri incelenmiş ve anlatılmıştır. Federe öğrenmenin temel zorlukları olan sistem heterojenliği, istatistiksel heterojenlik ve veri düzensizliğinin ele alınmış ve etkileri incelenmiştir. Bu zorlukların üstesinden gelmek üzere literatürde yeni birleştirme yöntemleri geliştirilmesi güncel bir konudur. Bu tezde bu yöntemlerden FEDSGD, FEDAVGM ve FEDAVG incelenmiştir. Federe öğrenmeyi ve parametre değişikliklerinin sistem üzerindeki etkilerini incelemek için deneyler düzenlenmiştir. Yapılan deneylerde ayrıca federe öğrenme zorluklarından olan sistem heterojenliği, istatistiksel heterojenlik ve veri düzensizliği kavramlarının doğruluk, kayıp ve hesaplama süresi performansı üzerindeki etkisi FEDAVGM yöntemi için incelenmiştir. Model parametrelerinin her yinelemede değişim hızını kontrol etmek için farklı yöntemler vardır. Bunun için iki farklı yöntem olan FEDAVGM ve FEDAVG yöntemleri deneylerde karşılaştırılmıştır. Sonuç olarak öğrenme parametre seçiminin sistem performansı üzerinde belirgin etkilerinin olabileceği görülmüştür. Verilen parametre değerlerinin duruma en uygun şekilde seçilmediği durumlarda aşırı öğrenme yatkınlığı oluşabilmektedir. Sistem heterojenliğin öğrenme süresini nasıl uzattığı, veri düzensizliğinin cihazlarda farklılığa sebep olup hesaplama süresini uzatabildiği ve bunun çeşitli sorunlara yol açabileceği, istatistiksel heterojenliğin öğrenmeyi azaltıp dalgalanmaları arttırdığı deneylerde gözlemlenmiştir. Belirli durumlarda FEDAVGM, momentum ile sistemin geçmiş gradyan hesaplamalarına dayanarak sonuç verdiği için daha başarılı olduğu görülmüştür.
Özet (Çeviri)
The Federated Learning (FL) research, led by MC Mahan and his team, was first introduced at Google in 2016. Since then, this field has been increasing interest and ongoing research. In the client-server model used, the clients are devices that hold data and are referred to as participants. The goal is to train machine learning models using the data on the participating clients. The trained model is then used again on the clients. One approach is to have the participants send their data to a central server, where the training is performed using the entire data, and then share the trained model with the participants. This approach follows the traditional centralized machine learning paradigm. In federated learning, however, the participants do not send their raw data to the central server. Instead, the server and participants collaborate to ensure the data remains on the devices. With advancing technology, applications where data resides on edge participants rather than a central server, are increasing, and the size of data on edge participants is also growing. The cost of transferring large amounts of data from the edge to the center and the privacy concerns associated with sharing personal data highlight the importance of federated learning for future systems and make it a widely studied research area. In federated learning, the clients train the received models from the server using their data on their own devices. The newly generated models are then aggregated on the server and redistributed to the devices. This thesis examines and explains the fundamentals of federated machine learning. The critical challenges of federated learning, such as system heterogeneity, statistical heterogeneity, and data sparsity, are addressed, and their impacts are studied. Developing new aggregation methods to overcome these challenges is a current topic in the literature. In this thesis, three of these methods, FEDSGD, FEDAVGM, and FEDAVG, are investigated. Experiments are conducted to examine federated learning and the effects of parameter changes on the system. In these experiments, the impact of system heterogeneity, statistical heterogeneity, and data sparsity on accuracy, loss, and computation time performance is explicitly analyzed for the FEDAVGM method. Different methods exist to control the rate of parameter changes in each iteration. For this purpose, two different methods, FEDAVGM and FEDAVG, are compared in the experiments. The results show that selecting learning parameters can significantly affect the system's performance. Overfitting tendencies can arise when the parameter values are not chosen appropriately for the situation. It is observed through the experiments that system heterogeneity prolongs the learning time, data sparsity introduces variations across devices and increases computation time, and statistical heterogeneity reduces learning and increases oscillations. In specific cases, FEDAVGM has shown better performance, relying on past gradient calculations with momentum.
Benzer Tezler
- Privacy and security enhancements of federated learning
Federe öğrenme uygulamalarında mahremiyet ve güvenlik geliştirmeleri
ŞÜKRÜ ERDAL
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. ENVER ÖZDEMİR
DR. FERHAT KARAKOÇ
- Federated anomaly detection for log-based defense systems
Log tabanlı savunma sistemleri için federe olağandışılık tespiti
UĞUR ÜNAL
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKadir Has ÜniversitesiYönetim Bilimleri Ana Bilim Dalı
PROF. DR. HASAN DAĞ
- Makine öğrenmesi modellerinde yanlılıkla mücadele: Federe öğrenme yaklaşımları
Mitigating bias in machine learning models: Federated learning approaches
HAVANUR DERVİŞOĞLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET FATİH AMASYALI
- Genomik çalışmalarda kullanılan makine öğrenmesi modellerinin blokzincir temelli bir eko sistemde federe öğrenme yöntemiyle geliştirilmesi için kavramsal bir çalışma
A conceptual study for developing machine learning models used in genomic studies by federated learning method in a blockchain-based ecosystem
ERKAN OKTAY
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medeniyet ÜniversitesiBiyolojik Veri Bilimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ARAFAT SALİH AYDINER
DR. ÖĞR. ÜYESİ MUHAMMED ERKAN KARABEKMEZ
- Federe öğrenme algoritmaları, açık kaynak çerçeve ve kütüphaneleri
Federated learning algorithms, open source frameworks and libraries
ÖMER FARUK GÖÇGÜN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. FEMİN YALÇIN KÜÇÜKBAYRAK
DOÇ. DR. AYTUĞ ONAN