Training memory-constrained deep learning models using automatic dataflow-graph partitioning
Başlık çevirisi mevcut değil.
- Tez No: 648895
- Danışmanlar: PROF. DR. DİDEM UNAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin Sinir Ağlarını (DNN'ler) ölçeklemek, birçok gerçek dünya uygulamasında doğruluklarını artırmak için çok önemli olmuştur. Bu nedenle, son teknoloji ürünü DNN'lerin çoğu derinleşiyor ve / veya genişliyor; daha büyük parametre setlerine ve / veya daha fazla katmana sahip oluyorlar. Ancak, bu modellerin eğitimi büyük miktarda bellek gerektirdiğinden bunun bir bedeli vardır. Parametreleri ve ara sonuçları depolamak için gereken bellek, genellikle eğitmekte kullanılan işleme öğeleri, yani Grafik İşleme Birimleri (GPU'lar) tarafından sunulan belleği aşmaktadır. Bu, bellek gerektiren bu modellerin, kullanılan işlem öğelerinin getirdiği kapasite kısıtlamaları altında verimli bir şekilde eğitilmesini sağlamak için algoritmalar ve teknikler aramayı gerektirir. Bu tez, veri akışı grafikleri olarak temsil edilen derin öğrenme modelleri için otomatik, genel ve müdahaleci olmayan bir bölümleme stratejisi olan ParDNN'ni önermektedir. Veri akışı grafiği gösterimine, evrenselliği nedeniyle ve TensorFlow, PyTorch ve MXNet gibi en popüler genel amaçlı derin öğrenme çerçeveleri tarafından benimsenmesinden dolayı bölümleme tekniğimizi veri akış grafiklerine dayandırdır. Stratejimizdeki temel algoritma, DNN'nin temelindeki veri akışı grafiğini bir dizi işleme öğesi arasında böler, böylece bellek kısıtlamaları karşılanır ve eğitim süresi en aza indirilir. Önerilen algoritma, bölümlenecek modelin derin öğrenme yönlerinden tamamen bağımsızdır, bu nedenle ortaya çıkan her tür modelle kullanılabilir. Dağıtılmış eğitim çerçevelerinin çoğunun aksine, ParDNN tamamen otomatiktir, kullanıcının model yapısı hakkında bilgi sahibi olmasını gerektirmez. Dahası, ne modelde ne de operasyon çekirdeklerinin sistem düzeyinde uygulanmasında herhangi bir değişiklik gerektirmez. Popüler bir DNN'nin veri akışı grafiği, birkaç bin ila yüz binlerce işlem içerir ve bu sayı hızlı bir artışa tabidir. Sonuç olarak, grafik işlemlerinin bir dizi işleme elemanı üzerinde verimli bir şekilde yerleştirilmesi, çok iyi kalitede bir bölümleme elde etmek ve düşük ek yüke sahip olmak arasında doğru dengeyi sağlayan bir algoritma gerektirir. Bu tezde önerilen strateji bu akılda tutularak tasarlanmıştır. Grafik bölümleme düşük ek yük algoritmalarından ve yüksek kaliteli statik programlama tekniklerinden kavramları içerir. Bu tezde, stratejimizin tasarımını ve deneysel sonuçlarını ortaya koyuyoruz. ParDNN kullanarak, derin öğrenmenin başlıca uygulama alanlarını temsil eden bir dizi model denedik. Deneylerimizde Tensorflow derin öğrenme çerçevesini kullanıyoruz. Deneylerimiz, ParDNN tarafından elde edilen bölümlemenin, birden çok cihaz üzerinde yüz binlerce işlem ve milyarlarca parametreye sahip DNN'lerin verimli eğitimine izin verdiğini göstermiştir. ParDNN son teknoloji alternatiflere göre daha iyi performans gösterir veya niteliksel bir avantaj sağlar. Dahası, ParDNN 'nun ihmal edilebilir bir ek yükü vardır, çalışma süresi haftalarca sürebilen eğitime kıyasla saniyeler ile birkaç dakika arasında değişir.
Özet (Çeviri)
Scaling Deep Neural Networks (DNNs) has been crucial for enhancing their accuracy in many real-world applications. Hence, many state-of-the-art DNNs are becoming deeper and/or wider; having larger parameter sets and/or more layers. However, this comes at a cost, since training these models requires huge amounts of memory. The memory required to store their parameters and intermediate results exceeds what is offered by the processing elements usually used in training, i.e. Graphics Processing Units (GPUs). This necessitates seeking algorithms and techniques to enable efficient training of these memory-demanding models under the capacity constraints imposed by the underlying processing elements. This thesis proposes 'Parallelize DNN' (ParDNN), an automatic, generic, and non-intrusive partitioning strategy for deep learning models that are represented as dataflow graphs. Our partitioning relies on the dataflow graph representation of the DNN because this representation has been adopted by most of the popular general-purpose deep learning frameworks. The core algorithm in our strategy partitions DNN's underlying dataflow graph among a set of processing elements so that their memory constraints are met and the training time is minimized. The proposed algorithm is completely independent of the deep learning aspects of the model to be partitioned, so it can be used with any type of emerging models. Unlike most of the distributed training frameworks, ParDNN is completely automatic and it requires no knowledge about the model structure. Moreover, it requires no modification neither on the model nor at the implementation of its operation kernels. The dataflow graph of a widely-used DNN contains few thousands up to hundreds of thousands of operations, and this number is subject to rapid increase. As a result, finding an efficient placement of the graph operations on a set of processing elements requires an algorithm that strikes the right balance between obtaining a good quality partitioning and having low overhead. In this thesis, we explain the shortcomings of the existing heuristics to attain this balance, and how our strategy is designed to overcome these shortcomings. Our heuristics incorporate concepts from graph partitioning low-overhead algorithms and high-quality static scheduling techniques. In this thesis, we demonstrate the design choices and experimental results of our strategy. Using ParDNN, we experimented with a set of models representing the major application domains of deep learning. We used TensorFlow deep learning framework in our demonstration. Our experiments have shown that the partitioning obtained by ParDNN permitted efficient training of DNNs having hundreds of thousands of operations and billions of parameters on multiple GPU devices. In these experiments, ParDNN either outperforms or provides a qualitative advantage over state-of-the-art alternatives. Moreover, ParDNN has a negligible overhead, its running time ranges between seconds to few minutes compared to the training that may last for weeks.
Benzer Tezler
- Gazi Eğitim Fakültesi 1984-1985 öğretim yılı Beden Eğitimi ve Spor Bölümü seçme sınavı I. aşamada uygulanan testlerin kazananlar ve kazanamayanlar açısından karşılaştırılması
Başlık çevirisi yok
LATİF AYDOS
Yüksek Lisans
Türkçe
1985
Eğitim ve ÖğretimGazi ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DOÇ. DR. EYYUP GÜNAY İSBİR
- İbrahim Hakkı Erzurumi'nin Tertib-i ulum isimli eserindeki eğitimle ilgili görüşleri
Başlık çevirisi yok
ÖMER ÖZYILMAZ
Yüksek Lisans
Türkçe
1986
Eğitim ve ÖğretimUludağ ÜniversitesiDin Kültürü ve Ahlak Bilgisi Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. HALİS AYHAN
- İsmayıl Hakkı Baltacıoğlu'nun kültür ve eğitim kavramı üzerine bir inceleme
An Examination of the concepts of culture and education of Ismayıl Hakkı Baltacıoğlu
ABDULLAH DİKİCİ
Doktora
Türkçe
1986
Eğitim ve ÖğretimUludağ ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. SUAT ANAR
- Cumhuriyet dönemi Türk eğitim sisteminde teftiş
Başlık çevirisi yok
RAŞİT GÖKTEN
Yüksek Lisans
Türkçe
1986
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Yönetimi Ana Bilim Dalı
YRD. DOÇ. DR. ÜLKER AKKUTAY
- Ankara kız meslek liseleri öğretmenlerinin motivasyonu üzerine bir araştırma
Başlık çevirisi yok
SOLMAZ ERTÜRK