Geri Dön

Hybrid parallelization of stochastic gradient descent

Olasılıksal gradyan alçalmanın hibrit paralelleştirilmesi

  1. Tez No: 715694
  2. Yazar: KEMAL BÜYÜKKAYA
  3. Danışmanlar: PROF. DR. CEVDET AYKANAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 47

Özet

Bu çalışmanın amacı, Olasılıklsal Gradyan Alçalma (SGD) algoritmasının dağınık bellekli yüksek başarımlı hesaplama platformlarında verimli bir şekilde paralelleştirmelerini araştırmaktır. Paralel SGD'nin yüzlerce işlemciye kadar ölçeklenebilirliğini göstermek için işlemciler arasında asenkron iletişim kurabilen, hibrit mimarye sahip ve merkezsizleştirilmiş bir SGD algoritması öneriyoruz. İş birimleri arası iletişim için Message Passing Interface'i (MPI) ve iş birimleri içersindeki paralellik içinse POSIX iş parçacıklarını kullanıyoruz. Dört farklı kıyaslama veri seti kullanarak yöntemimizi test ettik. Deneysel sonuçlar, önerilen algoritmanın görece seyrek veri setleri üzerinde 6 kata kadar daha fazla verim elde ettiğini ve hem esnek bir bölümleme şeması hemde yüksek düzeyde ölçeklenebilir hibrit bir mimari sağlarken görece yoğun veri setleri üzerinde de mevcut en gelişmiş algoritmalarla karşılaştırılabilir sonuçlar verdiğini göstermektedir.

Özet (Çeviri)

The purpose of this study is to investigate the efficient parallelization of the Stochastic Gradient Descent (SGD) algorithm for solving the matrix completion problem on a high-performance computing (HPC) platform in distributed memory setting. We propose a hybrid parallel decentralized SGD framework with asynchronous communication between processors to show the scalability of parallel SGD up to hundreds of processors. We utilize Message Passing Interface (MPI) for inter-node communication and POSIX threads for intra-node parallelism. We tested our method by using four different real-world benchmark datasets. Experimental results show that the proposed algorithm yields up to 6 times better throughput on relatively sparse datasets, and displays comparable performance to available state-of-the-art algorithms on relatively dense datasets while providing a flexible partitioning scheme and a highly scalable hybrid parallel architecture.

Benzer Tezler

  1. Approximate factorization using ACDI method on hybrid grids and parallelization of the scheme

    Hibrid çözüm ağları için DAHYKF (Değişken Ardışık Hücre Yönlü Kapalı Formülasyon Metodu) kullanılarak yaklaşık çarpanlara ayırma ve şemanın paralelleştirilmesi

    OGUZ KAAN ONAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    Havacılık MühendisliğiOrta Doğu Teknik Üniversitesi

    Havacılık Mühendisliği Ana Bilim Dalı

    DOÇ. DR. OGUZ UZOL

    YRD. DOÇ. DR. NİLAY SEZER UZOL

  2. Accelerating line of sight analysis algorithms with parallel programming

    Görüş hattı analizi algoritmalarının paralel programlama ile hızlandırılması

    GÖKHAN YILMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Modelleme ve Simülasyon Ana Bilim Dalı

    DOÇ. DR. ALPTEKİN TEMİZEL

    YRD. DOÇ. ELİF SÜRER

  3. Optimizing load balancing and task scheduling algorithms in cloud computing

    Bulut bilişimde yük dengeleme ve görev planlama algoritmalarının optimize edilmesi

    ALPEREN AKMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUSTAFA YENİAD

  4. Generalized scattering matrix techniques for hybrid solutions of radiowave propagation problems

    Radyodalgası yayılımı problemlerinin hibrit çözümlerine uygun genelleştirilmiş saçılma matrisi yöntemleri

    ALİCAN UYSAL

    Doktora

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. FUNDA AKLEMAN YAPAR

  5. Karma enerji sistemi için paralel bağlı azaltan-artıran (buck-boost) çevirici tasarımı ve denetimi

    Design and control of parallel connected buck-boost converter for hybrid energy system

    MUSTAFA ERGİN ŞAHİN

    Doktora

    Türkçe

    Türkçe

    2014

    Elektrik ve Elektronik MühendisliğiKaradeniz Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HALİL İBRAHİM OKUMUŞ