Improving the performance of 1D vertex parallel GNN training on distributed memory systems
Dağıtık bellek sistemlerinde 1D düğüm paralel GNN eğitiminin performansının iyileştirilmesi
- Tez No: 880311
- Danışmanlar: PROF. DR. CEVDET AYKANAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çizge Sinir Ağları (GNNs) sosyal medya, biyolojik ağlar ve öneri sistemleri gibi graf yapılı etki alanları bünyesinde bulunan verileri analiz etmek için büyük önem taşımaktadır. Avantajlarına karşın GNN eğitimini dağıtık ortamlarda büyük veri gruplarına ölçeklendirmek, karmaşık bir görev olan hesaplama ve iletişim maliyet yönetimi nedeniyle önemli zorluklara yol açmaktadır. Bu çalışmanın amacı, 1 boyutlu düğüm-paralel GNN eğitimini dağıtık hafıza sistemlerinde (i) daha iyi hesaplama yükü dengesi için iki-kısıtlı bölümleme formülasyonu kullanarak ve (ii) iletişim yükünü azaltmak için iletişimi hesaplamayla örtüştürerek ölçeklendirmektir. Önerilen iki-kısıtlı formülasyonda ilk kısıtlama hesaplama yükü dengesini ileri yayılım esnasındaki hesaplama yükü dengesini kodlarken ikinci kısıtlama geri yayılım esnasındaki hesaplama yükü dengesini kodlamaktadır. Örtüştürme işlemini üç farklı düzeyde gerçekleştiren üç iletişim ve hesaplama örtüştürme metodu önermekteyiz. Bu metotlar, benchmark veri setleri kullanılarak geleneksel yaklaşımlara karşı test edilmiş, motel yapısı değiştirilmeden eğitim verimliliğinde iyileşme sağlanmıştır. Sonuç, çok kısıtlı çizge bölümlemenin ve iletişim ve hesaplama örtüştürme şemalarının dağıtık GNN eğitiminin zorluklarını gözle görülür miktarda azalttığını ortaya koymaktadır. Çalışma, bu teknikleri dinamik ve daha karmaşık GNN mimarilerine uygulamak da dahil olmak üzere gelecekte yapılabilecek çalışmalara yönelik öneriler sunarak ve gerçek hayat senaryolarında GNN verimliliğinde ve uygulanabilirliğinde yapılabilecek iyileştirmelere dikkat çekerek noktalanmaktadır.
Özet (Çeviri)
Graph Neural Networks (GNNs) are pivotal for analyzing data within graph structured domains such as social media, biological networks, and recommendation systems. Despite their advantages, scaling GNN training to large datasets in distributed settings poses significant challenges due to the complex task of managing computation and communication costs. The objective of this work is to scale 1D vertex-parallel GNN training on distributed memory systems via (i) two-constraint partitioning formulation for better computational load balancing and (ii) overlapping communication with computation for reducing communication overhead. In the proposed two-constraint formulation, one constraint encodes the computational load balance during forward propagation, whereas the second constraint encodes the computational load balance during backward propagation. We propose three communication and computation overlapping methods that perform overlapping at three different levels. These methods were tested against traditional approaches using benchmark datasets, demonstrating improved training efficiency without altering the model structure. The outcomes indicate that multi-constraint graph partitioning and the integration of communication and computation overlapping schemes can significantly mitigate the challenges of distributed GNN training. The research concludes with recommendations for future work, including adapting these techniques to dynamic and more complex GNN architectures, promising further improvements in the efficiency and applicability of GNNs in real-world scenarios.
Benzer Tezler
- Ülkemizdeki çeşitli büyüklükteki yerleşim merkezlerinde uygulanabilecek kültür yapısı planlama modeli
The Planning model of the cultural building which applicable at different size of settlement center
MUSTAFA İNCESAKAL
Yüksek Lisans
Türkçe
1986
Şehircilik ve Bölge PlanlamaGazi ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. UMUR ERKMEN
- Ameliyat öncesi hastaların ameliyata ilişkin duyguları, düşünceleri ve bilgi istekleri
The Pre-operative patiensts feelings throughts and information requirements concerning their surgical operations
KADRİYE BULDUKOĞLU
Yüksek Lisans
Türkçe
1987
HemşirelikCumhuriyet ÜniversitesiHemşirelik Ana Bilim Dalı
YRD. DOÇ. DR. MELİHA ATALAY
- Tren, fren papuçlarının aşınmasının deneysel incelenmesi
Başlık çevirisi yok
RASİM İPEK
Yüksek Lisans
Türkçe
1987
Makine MühendisliğiErciyes ÜniversitesiMakine Ana Bilim Dalı
YRD. DOÇ. DR. M. BAKİ KARAMIŞ
- CO2-sodyum silikat bağlı kum sistemlerine etki eden parametrelerin incelenip maça ve kalıp özelliklerinin geliştirilmesi
The Investigation of the parameters effecting the mold and core made of CO2-sodium silicate bonded sands for improving the properties
ORHAN ŞERİF KOMAÇ
- Hukuksal açıdan orman emlaki ve orman mülkiyetinin temelleri
Forest property and fundamentals of forest ownership from the legal point of view
SEDAT AYANOĞLU