Exploring mixed and multi-precision SpMV for GPUs
GPU'lar için CSR tabanlı karışık ve çoklu-hassasiyetli SpMV
- Tez No: 774033
- Danışmanlar: DR. ÖĞR. ÜYESİ DİDEM UNAT ERTEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 51
Özet
Seyrek Matris-Vektör Çarpımı (SpMV), endüstriyel ve bilimsel uygulamalarda sıklıkla kullanılan bellek-bağımlı kilit çekirdeklerden biridir. Veri hareketini iyileştirip daha yüksek işlem gücünden yararlanmak üzere karışık-hassasiyetin SpMV'de kullanılması için birtakım çalışmalar yapılmıştır. Geçmiş çalışmaların çoğunluğu, bir iteratif çözücü (ör. CG, GMRES) gibi içerisinde düşük hassasiyet kullanılabilen, daha büyük bir uygulama boyunca farklı hassasiyetlerde SpMV kullanmaya odaklanmıştır. Daha yakın zamanda ise, sadece bir SpMV içerisinde karışık-hassasiyet kullanmanın yolları değerlendirilmiştir. Örneğin, matris içerisindeki her bir sıfır-olmayan değer için hassasiyet seçilip, girdi bu hassasiyetlere göre birden fazla matrise ayrılabilir; veya, bir blok-diagonal matrisin her bloğu için hassasiyete karar verilebilir. Bu çalışmada, bahsedildiği gibi daha ince-taneli karışık-hassasiyet yaklaşımı ile ilgileniyoruz. Bu minvalde, iplik gruplarının satır-sıkıştırılmış seyrek matrisleri satır bazında işlediği GPU'lardaki paralellik taneliğinden yola çıkarak, var olan bir eleman bazında hassasiyet karar verme yaklaşımı, satır bazında karar verebilmek üzere genişletiyoruz. Satır permutasyonları kullanarak karışık-hassasiyetli CSR depolama metodları öneriyor, ve bu metodların var olan metoda göre daha üstün yük-dengeleme özelliğini açıklıyoruz. Dahası, tek ve çift hassasiyetli matrislerin halihazırda depolandığı bir çoklu-hassasiyet senaryosunu göz önünde bulundurarak, önerdiğimiz karışık-hassasiyet SpMV yaklaşımımızı bu senaryoda da kullanılmak üzere genişletiyoruz. Metodlarımızı değerlendirmek için, bir çoklu-hassasiyet Jacobi yöntemi ve bir de Kardiyak modelleme uygulaması olmak üzere iki uygulamada kullanıyoruz. Ek olarak, karışık-hassasiyet yöntemimizi ELLPACK-R formatıyla kullanılmak üzere genişletiyoruz. Önerilen SPMV metodumuzun etkililiğini, NVIDIA V100 GPU kullanarak SuiteSparse Matrix Collection içerisindeki gerçel-değerli büyük seyrek matrislerden oluşan kapsamlı bir veri seti üzerinden gösteriyoruz.
Özet (Çeviri)
Sparse Matrix-Vector Multiplication (SpMV) is one of the key memory-bound kernels commonly used in industrial and scientific applications. To improve its data movement and benefit from higher compute rates, there are several efforts to utilize mixed precision for SpMV. Most of the prior-art focus on performing the SpMV in different precisions throughout the entire application, such as an iterative solver (e.g., CG, GMRES) where certain steps can be done with lower precisions. More recently, methods of using mixed-precision within a single SpMV has been of consideration. For instance, one can decide precision for each non-zero value in the matrix, and then split the input into multiple matrices with their respective precisions; or, decide the precision for each block in a given block-diagonal matrix format. In this work, we are interested in this more fine-grained approach of mixedprecision SpMV. To this extent, we extend an existing entry-wise precision based approach by deciding precision for each row, motivated by the granularity of parallelism on a GPU where groups of threads process rows in row-compressed sparse matrices. We propose mixed-precision CSR storage methods with row permutations and describe its greater load-balance compared to the existing method. We also consider a multi-precision case where single and double-precision copies of the matrix are stored priorly, and further extend our mixed-precision SpMV approach to comply with it. To evaluate our methods, we apply them in two real-life applications: a multiprecision Jacobi method and a multi-precision Cardiac modeling application. We further extend our mixed-precision methodology to be used with the ELLPACK-R format. We demonstrate the effectiveness of the proposed SpMV methods on an extensive dataset of real-valued large sparse matrices from the SuiteSparse Matrix Collection using an NVIDIA V100 GPU.
Benzer Tezler
- Mixed-resolution elastic network models for biological supramolecules
Biyolojik süpramoleküller için karışık kaba ölçekte elastik ağ yapı modelleri
AYŞE ÖZGE KÜRKÇÜOĞLU LEVİTAS
Doktora
İngilizce
2008
Kimya MühendisliğiBoğaziçi ÜniversitesiKimya Mühendisliği Bölümü
PROF. PEMRA DORUKER TURGUT
- Bir siyasal iletişim aracı olarak karikatürlerin dilinden: Türkiye'de hükümetler dönemi (1960-1980)
From the language of cartoons as a political communication tool: Governments in Turkey (1960-1980)
ESRA TAŞDELEN
Doktora
Türkçe
2024
Türk İnkılap TarihiAtatürk ÜniversitesiAtatürk İlkeleri ve İnkılap Tarihi Ana Bilim Dalı
PROF. DR. ERDAL AYDOĞAN
- Çamaşır suyu grubu içinde stratejik pazarlama faaliyetleri ve pazarlama analizi
Strategical marketing activites and market analyses for the bleach market
K.CENK GÜRDOĞAN
- Next generation 3D display applications using laser scanning pico projectors
Lazer taramalı pico projektör kullanan gelecek nesil 3B ekran uygulamaları
KAAN AKŞİT
Doktora
İngilizce
2014
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ÜREY
- Urban sectıons:Interactıon between transportatıon ınfrastructure and ground
Kentsel kesitler:Ulaşım altyapısı ve zemin etkileşimleri
NURGÜL YARDIM
Yüksek Lisans
İngilizce
2012
Mimarlıkİstanbul Teknik ÜniversitesiDisiplinlerarası Ana Bilim Dalı
PROF. DR. ORHAN HACIHASANOĞLU