Elastic pipeline load balancing for dynamic DNNS
Dinamik derin sinir ağları için boru yükü dengeleme
- Tez No: 795194
- Danışmanlar: DOÇ. DR. DİDEM UNAT ERTEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Dinamik modellerin eğitimi, büyük ölçekli eğitimin hesaplama ve bellek gereksinimlerini azalttığı için DNN'lerde ilgi görüyor. Dinamik eğitim için öne çıkan yaklaşımlardan biri olan kademeli budama, eğitim sırasında bir modelin parametrelerini budar (veya seyreltir). Bununla birlikte, kademeli budamanın yan etkilerinden biri, seyrekleştirmenin hızlandırıcılar arasında dengesiz bir iş yükü getirmesi ve bunun da boru hattı paralellik verimliliğini etkilemesidir. Bu çalışma, budamanın olumsuz performans etkilerini gidermek için boru hattındaki yükleri dinamik olarak dengeleyen DynPipe'ı tanıtmaktadır. DynPipe, dinamik modellerde yük dengelemeye ek olarak, toplam yükü performansı düşürmeden daha az sayıda GPU'ya sığdırabilir. DynPipe, çok GPU'lu tek düğümlerde ve çok düğümlü sistemlerde çalışır. Deneysel sonuçlar, DynPipe'ın büyük dil modeli eğitiminde kullanılan son teknoloji çözümlere göre tek bir düğümde eğitimi %5,64'e ve çok düğümlü bir ortamda %8,43'e kadar hızlandırabildiğini göstermektedir. DynPipe aşağıdaki adreste mevcuttur: https://anonymous.4open.science/r/DynPipe-1EC5
Özet (Çeviri)
Training of dynamic models is gaining traction in DNNs as it reduces computational and memory requirements of large-scale training. Gradual pruning, one of the prominent approaches for dynamic training, prunes (or sparsifies) the parameters of a model during training. However, one of the side effects of gradual pruning is that sparsification introduces an imbalanced workload across accelerators, which in turn affects the pipeline parallelism efficiency. This work introduces DynPipe which dynamically load balances the stages of the pipeline to offset the negative performance effects of pruning. On top of load balancing dynamic models, DynPipe can dynamically pack work into fewer GPUs, while sustaining performance. DynPipe works on single nodes with multi-GPUs and also on systems with multinodes. Experimental results show that DynPipe can speed up the training up to 5.64% in a single node, and 8.43% in a multi-node setting, over state-of-the art solutions used in training production large language models. DynPipe is available at https://anonymous.4open.science/r/DynPipe-1EC5
Benzer Tezler
- Metalik B.C.C. yapıdaki arayer atomları ile dislokasyonların elastik etkileşmelerinden doğan enerji değerlerinin hesaplanması
Başlık çevirisi yok
M. EYÜPHAN YAKINCI
Yüksek Lisans
Türkçe
1987
Fizik ve Fizik Mühendisliğiİnönü ÜniversitesiFizik Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA DİKİCİ
- Perde-çerçeve sistemlerinin statik ve deprem hesabı için bir paket program
Başlık çevirisi yok
GÜLGÜN BAHADIR
Yüksek Lisans
Türkçe
1987
İnşaat MühendisliğiÇukurova Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. CENGİZ DÜNDAR
- Kutu kesitli kirişlerin eğilme, burulma ve bozulma etkilerine göre analizi
Başlık çevirisi yok
AHMET BUDAK
Yüksek Lisans
Türkçe
1987
İnşaat MühendisliğiKaradeniz Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. İLHAN SUNGUR