Hybrid parallelization of stochastic gradient descent
Olasılıksal gradyan alçalmanın hibrit paralelleştirilmesi
- Tez No: 715694
- Danışmanlar: PROF. DR. CEVDET AYKANAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 47
Özet
Bu çalışmanın amacı, Olasılıklsal Gradyan Alçalma (SGD) algoritmasının dağınık bellekli yüksek başarımlı hesaplama platformlarında verimli bir şekilde paralelleştirmelerini araştırmaktır. Paralel SGD'nin yüzlerce işlemciye kadar ölçeklenebilirliğini göstermek için işlemciler arasında asenkron iletişim kurabilen, hibrit mimarye sahip ve merkezsizleştirilmiş bir SGD algoritması öneriyoruz. İş birimleri arası iletişim için Message Passing Interface'i (MPI) ve iş birimleri içersindeki paralellik içinse POSIX iş parçacıklarını kullanıyoruz. Dört farklı kıyaslama veri seti kullanarak yöntemimizi test ettik. Deneysel sonuçlar, önerilen algoritmanın görece seyrek veri setleri üzerinde 6 kata kadar daha fazla verim elde ettiğini ve hem esnek bir bölümleme şeması hemde yüksek düzeyde ölçeklenebilir hibrit bir mimari sağlarken görece yoğun veri setleri üzerinde de mevcut en gelişmiş algoritmalarla karşılaştırılabilir sonuçlar verdiğini göstermektedir.
Özet (Çeviri)
The purpose of this study is to investigate the efficient parallelization of the Stochastic Gradient Descent (SGD) algorithm for solving the matrix completion problem on a high-performance computing (HPC) platform in distributed memory setting. We propose a hybrid parallel decentralized SGD framework with asynchronous communication between processors to show the scalability of parallel SGD up to hundreds of processors. We utilize Message Passing Interface (MPI) for inter-node communication and POSIX threads for intra-node parallelism. We tested our method by using four different real-world benchmark datasets. Experimental results show that the proposed algorithm yields up to 6 times better throughput on relatively sparse datasets, and displays comparable performance to available state-of-the-art algorithms on relatively dense datasets while providing a flexible partitioning scheme and a highly scalable hybrid parallel architecture.
Benzer Tezler
- Approximate factorization using ACDI method on hybrid grids and parallelization of the scheme
Hibrid çözüm ağları için DAHYKF (Değişken Ardışık Hücre Yönlü Kapalı Formülasyon Metodu) kullanılarak yaklaşık çarpanlara ayırma ve şemanın paralelleştirilmesi
OGUZ KAAN ONAY
Yüksek Lisans
İngilizce
2013
Havacılık MühendisliğiOrta Doğu Teknik ÜniversitesiHavacılık Mühendisliği Ana Bilim Dalı
DOÇ. DR. OGUZ UZOL
YRD. DOÇ. DR. NİLAY SEZER UZOL
- Accelerating line of sight analysis algorithms with parallel programming
Görüş hattı analizi algoritmalarının paralel programlama ile hızlandırılması
GÖKHAN YILMAZ
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiModelleme ve Simülasyon Ana Bilim Dalı
DOÇ. DR. ALPTEKİN TEMİZEL
YRD. DOÇ. ELİF SÜRER
- Optimizing load balancing and task scheduling algorithms in cloud computing
Bulut bilişimde yük dengeleme ve görev planlama algoritmalarının optimize edilmesi
ALPEREN AKMAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA YENİAD
- Generalized scattering matrix techniques for hybrid solutions of radiowave propagation problems
Radyodalgası yayılımı problemlerinin hibrit çözümlerine uygun genelleştirilmiş saçılma matrisi yöntemleri
ALİCAN UYSAL
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. FUNDA AKLEMAN YAPAR
- Karma enerji sistemi için paralel bağlı azaltan-artıran (buck-boost) çevirici tasarımı ve denetimi
Design and control of parallel connected buck-boost converter for hybrid energy system
MUSTAFA ERGİN ŞAHİN
Doktora
Türkçe
2014
Elektrik ve Elektronik MühendisliğiKaradeniz Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİL İBRAHİM OKUMUŞ