Online learning over distributed networks
Dağıtılmış ağ üzerinde online öğrenme
- Tez No: 392495
- Danışmanlar: DOÇ. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 117
Özet
Dağıtılmış ağlar üzerinde online öğrenme stratejileri üzerinde çalışmaktayız. Burada öğrenme ve işbirliği kabiliyetine sahip ajanların dağıtılmış bir koleksiyonuna sahibiz. Bu ajanlar istenilen state parametresinin gürültülü versiyonunu gözlemlemekteler. State öğrenmeyi amaçlayan ajanlar aynı zamanda birbirleri ile etkileşime girmektedir fakat iletişim yükü önemli bir rol oynamaktadır. Bu amaçla yayılan veriden sıkıştırılmış bilgiyi çıkarabilen sıkıştırılmış yayınım stratejilerini öneriyoruz. Ajanlar bilgiyi bir skalere veya bir bite kadar sıkıştırabilirler. Bir diğer ifadeyle iletişim yükünü büyük ölçüde azaltabilirler. Önemli olarak ajanlar sonsuz hassasiyet gerektiren ve herhangi bir sıkıştırma işlemi kullanmayan geleneksel yayınım stratejileri ile karşılaştırabilinir performans sergileyebilirler. Ayrıca hatanın karesinin ortalaması açısından en iyileştirilmesi için hangi bilginin yayılması ve nasıl kullanılması gerektiğini inceliyoruz. Bilinen tüm dağıtılmış öğrenme stratejileri hatanın karesinin ortalaması açısından suboptimaldir. Bu yüzden herhangi bir ağ topolojisi üzerinde bilginin her bir ajanda toplanmasını kullanan, en küçük dağıtılmış hatanın karesinin ortalamasını başarabilen algoritmalar sağlıyoruz. Bu yaklaşım yerel kestirimlerin değiş tokuş yapıldığı, ağ üzerinde bilginin yayıldığı, yaklaşımlardan farklılık göstermektedir. Fakat yerel kestirim parametrelerinin yayınımı sadece özel ağ topolojileri üzerinde yeterli olmaktadır. Bu ağlar için bilginin yayınımını kullanan ve en küçük dağıtılmış hatanın karesinin ortalamasını başarabilen algoritmalar da öneriyoruz. Böylece olası en iyi performansı başarırken iletişim yükünü büyük ölçüde azaltabiliriz. Son olarak pratik uygulamalar için gözlemlerin zaman içerisinde pencerelenmesini kullanan yaklaşımlar sağlıyoruz.
Özet (Çeviri)
We study online learning strategies over distributed networks. Here, we have a distributed collection of agents with learning and cooperation capabilities. These agents observe a noisy version of a desired state of the nature through a linear model. The agents seek to learn this state by also interacting with each other yet the communication load plays significant role. To this end, we propose compressive diffusion strategies that extract the compressed information from the diffused data. Agents can compress the information into a scalar or a single bit, i.e., a substantial reduction in the communication load. Importantly, we show that agents can achieve a comparable performance to the conventional diffusion strategies that require the direct diffusion of information without compression and with infinite precision. We also examine which information to disclose and how to utilize them optimally in the mean-square-error (MSE) sense. Note that all the well-known distributed learning strategies achieve suboptimal learning performance in the MSE sense. Hence, we provide algorithms that achieve distributed minimum MSE (MMSE) performance over an arbitrary network topology based on the aggregation of information at each agent. This approach differs from the diffusion of information across network, i.e., exchange of local estimates. Notably, exchange of local estimates is sufficient only over the certain network topologies. For these networks, we also propose strategies that achieve the distributed MMSE performance through the diffusion of information. Hence, we can substantially reduce the communication load while achieving the best possible MSE performance. Finally, for practical implementations we provide approaches to reduce the complexity of the algorithms through the time-windowing of the observations.
Benzer Tezler
- Efficient learning strategies over distributed networks for big data
Büyük veriler için dağınık ağlarda etkili öğrenme teknikleri
OSMAN FATİH KILIÇ
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN SERDAR KOZAT
DOÇ. DR. SİNAN GEZİCİ
PROF. DR. ÇAĞATAY CANDAN
- Online learning in bandit problems
Başlık çevirisi yok
CEM TEKİN
Doktora
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversity of MichiganPROF. MINGYAN LIU
- Digital twin-enabled intelligent attack detection mechanisms for autonomous networks
Otonom ağlar için dijital ikiz destekli akıllı saldırı tespit mekanizmaları
YAĞMUR YİĞİT
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BERK CANBERK
- Contextual multi-armed bandits with structured payoffs
Yapılandırılmış getirili bağlamsal çok kollu haydutlar
MUHAMMAD ANJUM QURESHI
Doktora
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CEM TEKİN
- Text categorization using syllables and recurrent neural networks
Tekrarlamalı sinir ağları ve heceleri kullanarak metin sınıflandırma
ERSİN YAR
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SÜLEYMAN SERDAR KOZAT