Geri Dön

Improving the performance of 1D vertex parallel GNN training on distributed memory systems

Dağıtık bellek sistemlerinde 1D düğüm paralel GNN eğitiminin performansının iyileştirilmesi

PDF İndir

  1. Tez No: 880311
  2. Yazar: KUTAY TAŞCI
  3. Danışmanlar: PROF. DR. CEVDET AYKANAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 62

Özet

Çizge Sinir Ağları (GNNs) sosyal medya, biyolojik ağlar ve öneri sistemleri gibi graf yapılı etki alanları bünyesinde bulunan verileri analiz etmek için büyük önem taşımaktadır. Avantajlarına karşın GNN eğitimini dağıtık ortamlarda büyük veri gruplarına ölçeklendirmek, karmaşık bir görev olan hesaplama ve iletişim maliyet yönetimi nedeniyle önemli zorluklara yol açmaktadır. Bu çalışmanın amacı, 1 boyutlu düğüm-paralel GNN eğitimini dağıtık hafıza sistemlerinde (i) daha iyi hesaplama yükü dengesi için iki-kısıtlı bölümleme formülasyonu kullanarak ve (ii) iletişim yükünü azaltmak için iletişimi hesaplamayla örtüştürerek ölçeklendirmektir. Önerilen iki-kısıtlı formülasyonda ilk kısıtlama hesaplama yükü dengesini ileri yayılım esnasındaki hesaplama yükü dengesini kodlarken ikinci kısıtlama geri yayılım esnasındaki hesaplama yükü dengesini kodlamaktadır. Örtüştürme işlemini üç farklı düzeyde gerçekleştiren üç iletişim ve hesaplama örtüştürme metodu önermekteyiz. Bu metotlar, benchmark veri setleri kullanılarak geleneksel yaklaşımlara karşı test edilmiş, motel yapısı değiştirilmeden eğitim verimliliğinde iyileşme sağlanmıştır. Sonuç, çok kısıtlı çizge bölümlemenin ve iletişim ve hesaplama örtüştürme şemalarının dağıtık GNN eğitiminin zorluklarını gözle görülür miktarda azalttığını ortaya koymaktadır. Çalışma, bu teknikleri dinamik ve daha karmaşık GNN mimarilerine uygulamak da dahil olmak üzere gelecekte yapılabilecek çalışmalara yönelik öneriler sunarak ve gerçek hayat senaryolarında GNN verimliliğinde ve uygulanabilirliğinde yapılabilecek iyileştirmelere dikkat çekerek noktalanmaktadır.

Özet (Çeviri)

Graph Neural Networks (GNNs) are pivotal for analyzing data within graph structured domains such as social media, biological networks, and recommendation systems. Despite their advantages, scaling GNN training to large datasets in distributed settings poses significant challenges due to the complex task of managing computation and communication costs. The objective of this work is to scale 1D vertex-parallel GNN training on distributed memory systems via (i) two-constraint partitioning formulation for better computational load balancing and (ii) overlapping communication with computation for reducing communication overhead. In the proposed two-constraint formulation, one constraint encodes the computational load balance during forward propagation, whereas the second constraint encodes the computational load balance during backward propagation. We propose three communication and computation overlapping methods that perform overlapping at three different levels. These methods were tested against traditional approaches using benchmark datasets, demonstrating improved training efficiency without altering the model structure. The outcomes indicate that multi-constraint graph partitioning and the integration of communication and computation overlapping schemes can significantly mitigate the challenges of distributed GNN training. The research concludes with recommendations for future work, including adapting these techniques to dynamic and more complex GNN architectures, promising further improvements in the efficiency and applicability of GNNs in real-world scenarios.

Benzer Tezler

  1. Tez No

    336855

    Data distribution and performance optimization models for parallel data mining

    Koşut veri madenciliği için veri dağıtımı ve başarım optimizasyon modelleri

    ERAY ÖZKURAL

    Doktora

    İngilizce

    İngilizce

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. CEVDET AYKANAT

  2. Tez No

    418791

    LMS based sparse adaptive filters: From 1D to 2D representations

    LMS'e dayalı seyrek uyarlanabilir süzgeçler: 1B'dan 2B'ya gösterimi

    GÜLDEN ELEYAN

    Doktora

    Türkçe

    Türkçe

    2016

    Elektrik ve Elektronik MühendisliğiMevlana Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MOHAMMED SHUKRI SALMAN

  3. Tez No

    883270

    Enerji sistemlerinde makine öğrenmesi ile güç tüketim tahmini

    Power consumption prediction with machine learning in energy systems

    YUSUF BERUS

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiDicle Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YURDAGÜL BENTEŞEN YAKUT

  4. Tez No

    796762

    A new volterra neural network layer lıbrary usıng tensorflow

    Başlık çevirisi yok

    ZAKARIA FAYEZ ABD ALYAFAWI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar ve Enformatik Mühendisliği Ana Bilim Dalı

    PROF. DR. DEVRİM AKGÜN

  5. Tez No

    450975

    Engineering M-Si (M:Ag,Cu) thin films as negative electrodes for lithium ion batteries

    Lityum iyon bataryalarda negatif elektrot olarak kullanımları için M-Si (M:Ag,Cu) ince filmlerin tasarlanması

    BİLLUR DENİZ KARAHAN

    Doktora

    İngilizce

    İngilizce

    2016

    Enerjiİstanbul Teknik Üniversitesi

    Malzeme Bilimi ve Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖZGÜL KELEŞ

Geri Dön