Geri Dön

ComScribe: A communication monitoring tool for multi-GPU platforms

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 667924
  2. Yazar: PALWISHA AKHTAR
  3. Danışmanlar: DR. ÖĞR. ÜYESİ DİDEM UNAT ERTEN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 59

Özet

GPU iletişimi, çoklu GPU hızlandırmalı uygulamaların performansında ve ölçeklene-bilirliğinde kritik bir rol oynar. Giderek artan iletişim yöntemleri ve türleriyle, programcının bir uygulamada gerçekleşen iletişim miktarını ve türünü bilmesi genellikle zordur. MPI için dağıtık sistemlerdeki iletişimi ve paylaşılan bellek sistemlerinde çok iş parçacıklı uygulamaları algılayan önceki çalışmalar olsa da, bildiğimiz kadarıyla, bu çalışmaların hiçbiri düğüm içi GPU iletişimini tanımlamamaktadır. Bu çalışmada, bir düğümdeki tüm GPU-GPU ve CPU-GPU çiftleri arasındaki iletişim türlerini tanımlayan ve sınıflandıran bir araç olan ComScribe'u sunuyoruz. Aracımız, açık iletişim ilkelleri, Birleşik Bellek işlemleri ve Sıfır Kopyalı Bellek aktarımlarından kaynaklanan düğüm içi noktadan noktaya iletişimi yakalamak için NVIDIA'nın profil oluşturucusu nvprof üzerine inşa edilmiştir. Bir düğümde toplu GPU-GPU iletişimini izlemek için ComScribe, NCCL'nin toplu ilkelerini çalışma zamanında GPU'lar arasındaki veri aktarımlarını kaydeder. Veri hareketini hem aktarılan bayt sayısı hem de aktarım sayısı için bir iletişim matrisi olarak görselleştirir. Aracımızı 16 GPU'da doğrulamak için, NVIDIA, Comm|Scope ve MGBench benchmark paketlerinden 13 mikro ve 3 makro karşılaştırmalı iletişim modelleri oluşturduk. Aracın yeteneklerini gerçek hayattaki uygulamalarda göstermek için, üç derin sinir ağı modelinin içgörülü iletişim matrislerini oluşturduk. Sonuç olarak, ComScribe programcıya iletişim kuran GPU gruplarını, iletişim hacmini ve kullanılan ilkel türlerini belirlemede rehberlik eder. Bu, performans darboğazlarını ve daha da önemlisi bir uygulamadaki iletişim hatalarını tespit etmek için yollar sunar.

Özet (Çeviri)

GPU communication plays a critical role in performance and scalability of multi-GPU accelerated applications. With the ever increasing methods and types of communication, it is often hard for the programmer to know the exact amount and type of communication taking place in an application. Though there are prior works that detect communication in distributed systems for MPI and multi-threaded applications on shared memory systems, to our knowledge, none of these works identify intra-node GPU communication. In this work we present ComScribe, a tool that identifi es and categorizes types of communication among all GPU-GPU and CPU-GPU pairs in a node. Our tool is built on top of NVIDIA's pro lfier nvprof for capturing intra-node point-to-point communication resulting from explicit communication primitives, Uni ed Memory operations, and Zero-copy Memory transfers. For monitoring collective GPU-GPU communication in a node, ComScribe intercepts NCCL's collective primitives at runtime and records data transfers among GPUs. It visualizes data movement as a communication matrices for both number of bytes transferred and the number of transfers. To validate our tool on 16 GPUs, we present communication patterns of 13 micro and 3 macro-benchmarks from NVIDIA, CommjScope, and MGBench benchmark suites. To demonstrate tool's capabilities in real-life applications, we also present insightful communication matrices of three deep neural network models. All in all, ComScribe can guide the programmer in identifying groups of communicating GPUs, the volume of communication, and types of primitives used. This o ers avenues to detect performance bottlenecks and more importantly communication bugs in an application.

Benzer Tezler

  1. Tez No

    641987

    Writing with the ghost: The potential histories of Saidiya Hartman and Susan Howe

    Hayaletle yazmak: Saidiya Hartman ve Susan Howe metinlerinde potansiyel tarihçeler

    KATHRYN ANN BRADSHAW

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Karşılaştırmalı EdebiyatSabancı Üniversitesi

    Kültürel Çalışmalar Ana Bilim Dalı

    PROF. DR. SİBEL IRZIK

Geri Dön