Parallel stochastic gradient descent with sub-iterations on distributed memory systems
Dağıtık bellekli sistemlerde alt-iterasyonlu paralel olasılıksalgradyan alçalma
- Tez No: 721587
- Danışmanlar: DOÇ. DR. MUHAMMET MUSTAFA ÖZDAL, PROF. DR. CEVDET AYKANAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 53
Özet
Matris tamamlama problemi için paralel olasılıksal gradyan alçalma(SGD) algoritması incelenmektedir. Literatürdeki uygulamalar bayat veri kullanımı ve iletişim ücretlerinin paralel SGD'nin performansını etkileyen önemli etmenler olduğunu göstermektedir. Ilk olarak SGD algoritmasını ve paralel SGD için matris bölümlemesini incelenmektedir. Daha sonra paralel SGD'nin performansını iyileştirmek için yeni bir algoritma önermekteyiz. Bu algoritma iterasyon içi senkronizasyonlarla (alt-iterasyon olarak adlandırılmaktadır) iletişim ücretlerini ve bayat veri kullanımını azaltmayı amaçlamaktadır. Deney sonuçları alt-iterasyon kullanımında bayat veri kullanımının %95 oranında ve iletişim hacminin %47 oranında azaldığını göstermektedir. Bununla beraber, alt-iterasyon kullanımının test verisi hatasını alt-iterasyonsuz algoritmayla karşılaştırıldığında %60 oranında iyileştirebildiği görülmüştür.
Özet (Çeviri)
We investigate parallelization of the stochastic gradient descent (SGD) algorithm for solving the matrix completion problem. Applications in the literature show that stale data usage and communication costs are important concerns that affect the performance of parallel SGD applications. We first briefly visit the stochastic gradient descent algorithm and matrix partitioning for parallel SGD. Then we define the stale data problem and communication costs. In order to improve the performance of parallel SGD, we propose a new algorithm with intra-iteration synchronization (referred as sub-iterations) to decrease communication costs and stale data usage. Experimental results show that using sub-iterations can decrease staleness up to 95% and communication volume up to 47%. Furthermore, using sub-iterations can improve test error up to 60% when compared to the conventional parallel SGD implementation that does not use sub-iterations.
Benzer Tezler
- Novel gradient-based methods for data distribution and privacy in data science
Veri biliminde mahremiyet ve veri dağılımına dayalı gradyan tabanlı yeni metodlar
NURDAN KURU
Doktora
İngilizce
2019
Endüstri ve Endüstri MühendisliğiSabancı ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ŞEVKET İLKER BİRBİL
- Türkiye enerji sektörünün stratejik konumu ve yapay sinir ağı modelleriyle enerji tüketiminin tahmini
Turkish energy sector strategic position and neural network prediction of energy consumption models with
HATİCE GENÇ KAVAS
Doktora
Türkçe
2019
EnerjiSivas Cumhuriyet Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. HÜDAVERDİ BİRCAN
- Matrix factorization with stochastic gradient descent for recommender systems
Öneri sistemleri için olasılıksal eğim iniş ile matris çarpanlarına ayırma
ÖMER FARUK AKTULUM
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CEVDET AYKANAT
- Hybrid parallelization of stochastic gradient descent
Olasılıksal gradyan alçalmanın hibrit paralelleştirilmesi
KEMAL BÜYÜKKAYA
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. CEVDET AYKANAT
- Makine öğrenmesi algoritmalarında kullanılan paralel hesaplama yaklaşımlarının zaman ve bellek performanslarının kıyaslanması
Comparison of time and memory performance of parallel computing approaches used in machine learning algorithms
GİZEN MUTLU
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMersin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM ACI