Extending the GPU memory architecture for efficientbandwidth reservation
Başlık çevirisi mevcut değil.
- Tez No: 718623
- Danışmanlar: Belirtilmemiş.
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: State Unıversıty Of New York At Bınghamton
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Belirtilmemiş.
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Özet yok.
Özet (Çeviri)
The trend of growing GPU capacity necessitates the support for concurrent executions of multiple applications in a GPU since a single application cannot fully utilize hardware resources. Interference between the co-running applications, however, increases non-deterministic timing behaviors. Achieving performance isolation under multi-application execution plays a key role to reduce the non-determinism. A powerful approach is strict resource partitioning that divides hardware resources into several partitions and assigns a partition to each application exclusively. However, we observe that strict resource partitioning erases crucial optimization opportunities to improve GPU utilization, leading to a significant performance decline. Notably, we find that one of the most underutilized resources are GPU memory bandwidth, and it requires more flexible resource sharing. Meanwhile, we also find that keeping other shared resources, such as an L2 cache, strictly partitioned is often beneficial. Based on our observations, we propose an extension of the GPU memory architecture to support bandwidth reservation. Unlike strict resource partitioning that tries to remove all potential interference between co-running applications, the proposed bandwidth reservation method supports flexible resource sharing, while reserving the required GPU memory bandwidth for each application. Further, our design supports partitioning of other essential resources in the GPU memory hierarchy. Our experimental results show that our approach supports the required memory bandwidth reservation for each application and improves the performance of concurrent applications by 20% on average, compared to strict partitioning of hardware resources.
Benzer Tezler
- Uzaktan çok kaynaklı ölçümler yoluyla varlık verilerinin güvenilirliği
Uzaktan çok kaynakli ölçümler yoluyla varlik veri̇leri̇ni̇n güveni̇li̇rli̇ği̇
SALİHCAN KARAMAN
Yüksek Lisans
Türkçe
2026
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR BEHZAT TOKDEMİR
- İkili ağırlıklı ağ ve XNOR-ağ ikilileştirilmiş evrişimsel derin sinir ağlarının analizi
Analysis of binary weighted network and XNOR-net binarized convolutional deep neural networks
EMİR ALİ DİNSEL
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKonya Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİFE KODAZ
- Autonomous execution for multi-GPU systems: CPU-free blueprint and compiler support
Çoklu GPU sistemleri için otonom yürütme: CPU'suz tasarım ve derleyici desteği
JAVID BAYDAMIRLI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. DİDEM UNAT ERTEN
- Development of high-order harmonic generation code using Cuda
GPU üzerinde Cuda'yı kullanarak yüksek harmonik üretimi kodu geliştirmek
OZAN OĞUZ
Yüksek Lisans
İngilizce
2019
Fizik ve Fizik MühendisliğiMarmara ÜniversitesiFizik Ana Bilim Dalı
DOÇ. DR. ERDİ ATA BLEDA
- Neutrino particle direction estimation using transformer-based deep learning
Transformer tabanlı derin öğrenme kullanılarak nötrino parçacık yönü kestirimi
ŞEVVAL COŞKUN
Yüksek Lisans
İngilizce
2026
Fizik ve Fizik Mühendisliğiİstanbul Teknik ÜniversitesiFizik Mühendisliği Ana Bilim Dalı
PROF. DR. EMRE ONUR KAHYA
ÖĞR. GÖR. DOĞU SIRT