Geri Dön

Improving gossip-based decentralized deep learning

Fısıltı tabanlı dağıtık derin öğrenme yönteminin geliştirilmesi

PDF İndir

  1. Tez No: 741186
  2. Yazar: YUNUS BÜTÜN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA BERKAY YILMAZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Akdeniz Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 66

Özet

Bu çalışmada fısıltı protokolleriyle yerel olarak eğitilen modellerin düğümler arasında rastgele değişimine dayananan tam dağıtık öğrenmeyi araştırdık. Diğer parçalı dağıtık öğrenme yöntemlerinden farklı olarak bu metotta bir lider yada koordinator düğüm bulunmuyor. Her düğümde aynı algoritma çalışır. Her düğüm aldığı modellerin ortalamasını alır ve kendi yerel verisiyle eğitir. Teorik olarak ispatlanmasa da pratikte kullanılışlı durumdadır. Bu algoritmayı anlamak için algoritmanın modelleri dağıtmak için kullandığı iletişim protokollerinin anlaşılması gerekiyor. Fısıltı öğrenmesi ilk olarak itme tipi fısıltı protokolü temelli olarak öne sürüldü. Bu alanda çok az çalışmanın olduğunu gözlemledik. Dağıtık öğrenmenin gelişmesi üzerine bina edildiği fısıltı protokollerinin doğru şekilde uygulanması ve model birleştirme stratejilerine dayanıyor. Bu çalışmanın ilk bölümünde var olan bütün fısıltı protokolleri SI ve SIR modunda teorik ve deneysel olarak ayrıntılı şekilde incelendi. İtme protokolünün SIR modunda enfekte olan düğüm sayısının en yoğun olduğu zamanı tahmini gibi birçok denklem türetildi. Var olan çalışmaların çoğunda fısıltı öğrenmesi SVM ve lojistik regresyon gibi doğrusal öğrenme algoritmalarıyla yapılıyor. Bu çalışmanın ikinci bölümünde yapay sinir ağları kullanarak dağıtık veri üzerinde öğrenme işlemini değişik parçalı model aktarma stratejileriyle değişik ağ büyüklüklerinde gerçekleştirdik.

Özet (Çeviri)

In this study we have studied fully-decentralized learning which is based on exchanging trained local models randomly using gossip protocols between nodes. Unlike other partially decentralized learning methods, in this approach there is no leader or coordinator node. The same algorithm executes in each node. Every node averages received models and trains the averaged model with its local data. Although it is theoretically not proved, the method works quite well in practice. In order to understand the algorithm, it is necessary to understand the underlying communication protocol used to distribute trained models. Gossip learning originally proposed based on push type gossip protocol. We have observed that there is little amount of study in this field. Since improvement of decentralized learning strongly depends on application of underlying protocols in an appropriate way and model merging strategies. In the first part of this research, we have studied all gossip protocols extensively both in SI and SIR models theoretically and empirically. We have derived numerous equations such as predicting peak time when network load reaches its maximum value in push type gossip in the SIR model. In most existing research, gossip algorithms are used to train linear models such as SVM and logistic regression. In the second part of this study, we have used neural networks for training on distributed data using gossip learning algorithm with various partial model transfer strategies for different network sizes.

Benzer Tezler

  1. Tez No

    836741

    FLAGS framework and decentralized federated learning under device volatility

    FLAGS platformu ve cihaz dalgalanması durumunda merkeziyetsiz federe öğrenme

    AHNAF HANNAN LODHI

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZNUR ÖZKASAP

    YRD. DOÇ. DR. BARIŞ AKGÜN

  2. Tez No

    75343

    Bilgi sistemlerinde bilgi akışı modellemesi

    Başlık çevirisi yok

    DUYGU DERİNÖZ

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. AHMET FAHRİ ÖZOK

  3. Tez No

    229311

    İşyerinde sistematik yıldırma (mobbing), algılanan nedenleri ve iş tatmini ile işten ayrılma niyeti üzerine etkisi: antalya ili tarım sektöründe bir araştırma

    Mobbing, its perceived reasons and its effect on job satisfaction and the intention to leave from work: a research in agriculture sector in antalya

    NURAY YAPICI

    Yüksek Lisans

    Türkçe

    Türkçe

    2008

    PsikolojiAkdeniz Üniversitesi

    İşletme Bölümü

    DOÇ. DR. NİLGÜN ANAFARTA

  4. Tez No

    145577

    Ayaşlı ile Kiracıları'nda anlatıcı sorunsalı

    The problem of the narrator in Ayaşlı ile Kiracıları

    SEVİM GÖZCÜ

    Yüksek Lisans

    Türkçe

    Türkçe

    2004

    Türk Dili ve Edebiyatıİhsan Doğramacı Bilkent Üniversitesi

    Türk Edebiyatı Ana Bilim Dalı

    DR. SÜHA OĞUZERTEM

  5. Tez No

    80927

    Madde bağımlılığının önlenmesinde eczacıların rollerinin iyileştirilmesine yönelik bir araştırma

    Improving the role of pharmacists in drug abuse prevention

    SELEN YEĞENOĞLU

    Doktora

    Türkçe

    Türkçe

    1999

    Eczacılık ve FarmakolojiHacettepe Üniversitesi

    Eczacılık İşletmeciliği ve Mevzuatı Ana Bilim Dalı

    PROF.DR. İSMAİL ÜSTEL

Geri Dön