On over-the-air federated learning over wireless channels withenergy harvesting and heterogeneous data distribution
Enerji hasadı ve heterojen veri dağılımı koşullarında kablosuz kanallarda havadan beslemeli federe öğrenme
- Tez No: 979217
- Danışmanlar: PROF. DR. TOLGA METE DUMAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Makine öğrenmesine (ML) olan ilginin giderek artmasıyla birlikte, federe öğrenme (FL), merkezi olmayan uç cihazlar arasında hem yüksek kaliteli modellerin iş birliği içinde eğitilmesini sağlayan, hem de sunucu tarafındaki kullanıcı verisinin erişimini en aza indiren ve kullanıcı gizliliğini koruyan bir paradigma olarak ortaya çıkmıştır. FL'de, birden fazla mobile cihaz (MD), bir parametre sunucusunun (PS) koordinasyonunda global bir modeli iş birliği içinde eğitmek için kullanılır; cihazlar, küresel eğitimi gerçekleştirmek amacıyla yerel verilerini kullanarak stokastik gradyan inişi (SGD) güncellemeleri yapar. Kablosuz kanallar üzerinden FL ve bunun pratik uygulamaları üzerine kapsamlı araştırmalar yapılmış olsa da, yüksek derecede heterojen sistemler için özel olarak geliştirilmiş çözümler geliştirme ve bu sistemleri inceleme ihtiyacı hâlâ açık bir araştırma alanı olarak durmaktadır. Bu tez, bu tür heterojen ortamlarda kablosuz kanallar üzerinden gerçekleştirilen havadan beslemeli (OTA) FL için stratejiler geliştirmeyi ve çözüm önerileri sunmayı amaçlamaktadır. Tezin ilk bölümünde, enerji hasatı yapan mobil cihazlarla gerçekleştirilen OTA FL için kullanıcı seçimi stratejilerine odaklanılmıştır. Veri dağılımı özelliklerine ve buna bağlı olarak kullanıcıların ilettikleri güncellemelere dayalı bir kullanıcı seçimi paradigması izlenmiştir. Buradaki temel amaç, öğrenme performansını artırmak ve sınırlı şekilde hasat edilen enerjinin daha verimli kullanılmasını sağlamaktır. Kullanıcıların veri dağımlarının sunucu tarafından bilinip bilinmemesine bağlı olarak iki farklı kullanıcı seçimi yaklaşımı geliştirilmiştir. Önerilen OTA FL yapısının yakınsama analizi teorik olarak sunulmuş ve deneysel sonuçlarla desteklenmiştir. Elde edilen sonuçlar, kullanıcı özelliklerine dayalı seçim stratejilerinin global öğrenme performansını anlamlı ölçüde artırabileceğini ve sistemdeki bilgi tekrarını azaltabileceğini göstermektedir. Tezin ikinci bölümünde, enerji hasadı yapan mobil cihazlar için özelleştirilmiş global modelleri hedefleyen, OTA FL yapısında kümelenmiş federe öğrenme (CFL) yaklaşımları incelenmiştir. Bu bölümde, kullanıcıların doğal bir şekilde çeşitli kümelere ayrıldığını varsayıyoruz; örneğin, her bir küme belirli spor alanlarına ilgi duyan bireylerden oluşabilir. Kullanıcılar arasındaki yüksek heterojenlik ve enerji hasadı nedeniyle ortaya çıkan stokastik uygunluktan kaynaklanabilecek suboptimal model performansını önlemek amacıyla, farklı kümelere özel daha spesifik global modelleri aynı anda havadan iletim ile sunmayı hedefliyoruz. Sunucu tarafında, mevcut kanal durumu bilgisi (CSI) seviyesine bağlı olarak özel olarak tasarlanmış farklı birleştirme yöntemleri öneriyoruz. Sayısal sonuçlar, yeterli sayıda alıcı anteniyle birden fazla kümeden eşzamanlı güncelleme iletiminin desteklenebileceğini ve daha özelleştirilmiş, yüksek performanslı global modellerin elde edilebileceğini göstermektedir.
Özet (Çeviri)
With the growing interest in machine learning (ML), federated learning (FL) has emerged as a prominent paradigm for collaboratively training high-quality models across decentralized edge devices, while minimizing server-side data access and preserving user privacy. In FL, multiple mobile devices (MDs) are used to collaboratively train a global model with coordination from a parameter server (PS), with devices using their local data to perform stochastic gradient descent (SGD) for the purpose of global training. While extensive research has been conducted on FL over wireless channels and its applications in practical scenarios, the need to investigate and develop solutions tailored to highly heterogeneous setups is an open research direction. This thesis aims to explore strategies and propose solutions for over-the-air (OTA) FL over wireless channels in such heterogeneous environments. In the first part of this thesis, we focus on the scheduling strategies for the OTA FL with energy harvesting MDs and highly heterogeneous data distribution. We follow a paradigm to schedule users based on their data distribution characteristics and subsequently their transmitted updates, with the primary goal of improving the learning performance and making more efficient use of the limited harvested energy. We develop two scheduling approaches depending on whether the users' data distributions are known or unknown at the server. We provide a theoretical convergence analysis of the proposed OTA FL setup, which is also used to design scheduling strategies, and validate our findings through experimental analysis, demonstrating that scheduling strategies based on user characteristics can significantly enhance global learning performance and reduce redundancy in the system. In the second part of the thesis, we study clustered federated learning (CFL) approaches in OTA FL setup, focusing on personalized global models depending on users' data characteristics for energy harvesting MDs. In this part, we assume that users are naturally partitioned into distinct clusters; for instance, each cluster may consist of users interested in different categories of sports. The primary goal is to train a dedicated model for each cluster to better capture their specific preferences, while simultaneously serving all the clusters using a single parameter server through over-the-air transmission to ensure communication efficiency. To enable the simultaneous serving of each cluster, we propose different combining methods at the server side, each designed for a specific level of available channel state information (CSI). Numerical results show that with a sufficient number of receiver antennas, it is possible to support simultaneous update transmissions from multiple clusters and achieve more specialized global models with improved performance.
Benzer Tezler
- On federated learning over wireless channels with over-the-air aggregation
Kablosuz kanallar üzerinden havada birleştirme ile federe öğrenme
OZAN AYGÜN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. TOLGA METE DUMAN
- Simultaneous transmission based communication techniques
Eş zamanlı ̇iletime dayalı haberleşme sistemleri ̇
UFUK ALTUN
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNEŞ ZEYNEP KARABULUT KURT
DOÇ. DR. ENVER ÖZDEMİR
- Federated learning and distributed inference over wireless channels
Kablosuz kanallar üzerinde federe öğrenme ve dağıtık çıkarım
BÜŞRA TEGİN
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. TOLGA METE DUMAN
- Numerical investigation of flow characteristics over stepped spillways
Basamaklı dolusavaklar üzerinde oluşan akım karakteristiklerinin sayısal araştırılması
AHMED HUSSEIN MAHMOOD
Yüksek Lisans
İngilizce
2020
İnşaat MühendisliğiGaziantep Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. AYTAÇ GÜVEN
- Experimental investigation on the condensation efficiency of humid air over cylinder and flat plate condensers
Silindir ve düz tabaka kondenser üzerinde nemli hava yoğuşma verimliliği üzerine deneysel inceleme
EMRE CAN DOKUYUCU
Yüksek Lisans
İngilizce
2019
Makine MühendisliğiYeditepe ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. ERDEM AN