Geri Dön

Online learning over distributed networks

Dağıtılmış ağ üzerinde online öğrenme

  1. Tez No: 392495
  2. Yazar: MUHAMMED ÖMER SAYIN
  3. Danışmanlar: DOÇ. DR. SÜLEYMAN SERDAR KOZAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2015
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 117

Özet

Dağıtılmış ağlar üzerinde online öğrenme stratejileri üzerinde çalışmaktayız. Burada öğrenme ve işbirliği kabiliyetine sahip ajanların dağıtılmış bir koleksiyonuna sahibiz. Bu ajanlar istenilen state parametresinin gürültülü versiyonunu gözlemlemekteler. State öğrenmeyi amaçlayan ajanlar aynı zamanda birbirleri ile etkileşime girmektedir fakat iletişim yükü önemli bir rol oynamaktadır. Bu amaçla yayılan veriden sıkıştırılmış bilgiyi çıkarabilen sıkıştırılmış yayınım stratejilerini öneriyoruz. Ajanlar bilgiyi bir skalere veya bir bite kadar sıkıştırabilirler. Bir diğer ifadeyle iletişim yükünü büyük ölçüde azaltabilirler. Önemli olarak ajanlar sonsuz hassasiyet gerektiren ve herhangi bir sıkıştırma işlemi kullanmayan geleneksel yayınım stratejileri ile karşılaştırabilinir performans sergileyebilirler. Ayrıca hatanın karesinin ortalaması açısından en iyileştirilmesi için hangi bilginin yayılması ve nasıl kullanılması gerektiğini inceliyoruz. Bilinen tüm dağıtılmış öğrenme stratejileri hatanın karesinin ortalaması açısından suboptimaldir. Bu yüzden herhangi bir ağ topolojisi üzerinde bilginin her bir ajanda toplanmasını kullanan, en küçük dağıtılmış hatanın karesinin ortalamasını başarabilen algoritmalar sağlıyoruz. Bu yaklaşım yerel kestirimlerin değiş tokuş yapıldığı, ağ üzerinde bilginin yayıldığı, yaklaşımlardan farklılık göstermektedir. Fakat yerel kestirim parametrelerinin yayınımı sadece özel ağ topolojileri üzerinde yeterli olmaktadır. Bu ağlar için bilginin yayınımını kullanan ve en küçük dağıtılmış hatanın karesinin ortalamasını başarabilen algoritmalar da öneriyoruz. Böylece olası en iyi performansı başarırken iletişim yükünü büyük ölçüde azaltabiliriz. Son olarak pratik uygulamalar için gözlemlerin zaman içerisinde pencerelenmesini kullanan yaklaşımlar sağlıyoruz.

Özet (Çeviri)

We study online learning strategies over distributed networks. Here, we have a distributed collection of agents with learning and cooperation capabilities. These agents observe a noisy version of a desired state of the nature through a linear model. The agents seek to learn this state by also interacting with each other yet the communication load plays significant role. To this end, we propose compressive diffusion strategies that extract the compressed information from the diffused data. Agents can compress the information into a scalar or a single bit, i.e., a substantial reduction in the communication load. Importantly, we show that agents can achieve a comparable performance to the conventional diffusion strategies that require the direct diffusion of information without compression and with infinite precision. We also examine which information to disclose and how to utilize them optimally in the mean-square-error (MSE) sense. Note that all the well-known distributed learning strategies achieve suboptimal learning performance in the MSE sense. Hence, we provide algorithms that achieve distributed minimum MSE (MMSE) performance over an arbitrary network topology based on the aggregation of information at each agent. This approach differs from the diffusion of information across network, i.e., exchange of local estimates. Notably, exchange of local estimates is sufficient only over the certain network topologies. For these networks, we also propose strategies that achieve the distributed MMSE performance through the diffusion of information. Hence, we can substantially reduce the communication load while achieving the best possible MSE performance. Finally, for practical implementations we provide approaches to reduce the complexity of the algorithms through the time-windowing of the observations.

Benzer Tezler

  1. Efficient learning strategies over distributed networks for big data

    Büyük veriler için dağınık ağlarda etkili öğrenme teknikleri

    OSMAN FATİH KILIÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SÜLEYMAN SERDAR KOZAT

    DOÇ. DR. SİNAN GEZİCİ

    PROF. DR. ÇAĞATAY CANDAN

  2. Digital twin-enabled intelligent attack detection mechanisms for autonomous networks

    Otonom ağlar için dijital ikiz destekli akıllı saldırı tespit mekanizmaları

    YAĞMUR YİĞİT

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. BERK CANBERK

  3. Contextual multi-armed bandits with structured payoffs

    Yapılandırılmış getirili bağlamsal çok kollu haydutlar

    MUHAMMAD ANJUM QURESHI

    Doktora

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ CEM TEKİN

  4. Text categorization using syllables and recurrent neural networks

    Tekrarlamalı sinir ağları ve heceleri kullanarak metin sınıflandırma

    ERSİN YAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SÜLEYMAN SERDAR KOZAT