Elastic pipeline load balancing for dynamic DNNS
Dinamik derin sinir ağları için boru yükü dengeleme
- Tez No: 795194
- Danışmanlar: DOÇ. DR. DİDEM UNAT ERTEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 53
Özet
Dinamik modellerin eğitimi, büyük ölçekli eğitimin hesaplama ve bellek gereksinimlerini azalttığı için DNN'lerde ilgi görüyor. Dinamik eğitim için öne çıkan yaklaşımlardan biri olan kademeli budama, eğitim sırasında bir modelin parametrelerini budar (veya seyreltir). Bununla birlikte, kademeli budamanın yan etkilerinden biri, seyrekleştirmenin hızlandırıcılar arasında dengesiz bir iş yükü getirmesi ve bunun da boru hattı paralellik verimliliğini etkilemesidir. Bu çalışma, budamanın olumsuz performans etkilerini gidermek için boru hattındaki yükleri dinamik olarak dengeleyen DynPipe'ı tanıtmaktadır. DynPipe, dinamik modellerde yük dengelemeye ek olarak, toplam yükü performansı düşürmeden daha az sayıda GPU'ya sığdırabilir. DynPipe, çok GPU'lu tek düğümlerde ve çok düğümlü sistemlerde çalışır. Deneysel sonuçlar, DynPipe'ın büyük dil modeli eğitiminde kullanılan son teknoloji çözümlere göre tek bir düğümde eğitimi %5,64'e ve çok düğümlü bir ortamda %8,43'e kadar hızlandırabildiğini göstermektedir. DynPipe aşağıdaki adreste mevcuttur: https://anonymous.4open.science/r/DynPipe-1EC5
Özet (Çeviri)
Training of dynamic models is gaining traction in DNNs as it reduces computational and memory requirements of large-scale training. Gradual pruning, one of the prominent approaches for dynamic training, prunes (or sparsifies) the parameters of a model during training. However, one of the side effects of gradual pruning is that sparsification introduces an imbalanced workload across accelerators, which in turn affects the pipeline parallelism efficiency. This work introduces DynPipe which dynamically load balances the stages of the pipeline to offset the negative performance effects of pruning. On top of load balancing dynamic models, DynPipe can dynamically pack work into fewer GPUs, while sustaining performance. DynPipe works on single nodes with multi-GPUs and also on systems with multinodes. Experimental results show that DynPipe can speed up the training up to 5.64% in a single node, and 8.43% in a multi-node setting, over state-of-the art solutions used in training production large language models. DynPipe is available at https://anonymous.4open.science/r/DynPipe-1EC5
Benzer Tezler
- Zemine gömülü borulara etkileyen yükler
The Loads acting on buried pipes into the soil
GÖKHAN DEĞİRMENCİ
Yüksek Lisans
Türkçe
1997
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET SAĞLAMER
- Deprem etkisi altındaki gömülü sürekli boru hatları
Buried continuous pipelines under the effects of earthquake
ADİL YİĞİT
Doktora
Türkçe
2015
İnşaat Mühendisliğiİstanbul Teknik ÜniversitesiYapı Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH GEDİKLİ
- Boru hatlarının tasarımında boru akışkan zemin etkileşimi
Fluid-pipe-soil interaction in design of pipelines
TEKİN TEZCAN
- TS 4561, LRFD ve EUCORODE 3'ün genel ilkeler ve kesmeli eğilme hesap esasları açısından karşılaştırılması
Başlık çevirisi yok
MEHMET ILGAZ BÜYÜKTAŞKIN
Yüksek Lisans
Türkçe
1998
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Ana Bilim Dalı
PROF. DR. NESRİN YARDIMCI
- Soil pipeline interaction for the steel pipes subjected to landslides
Heyelana tabi gömülmüş borularda zemin boru etkileşimi
EKREM KAYA
Yüksek Lisans
İngilizce
2002
İnşaat MühendisliğiBoğaziçi Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. EROL GÜLER