Data placement on heterogeneous memory architectures
Heterojen bellek mimarileri üzerine veri yerleştirilmesi
- Tez No: 519726
- Danışmanlar: YRD. DOÇ. DR. DİDEM UNAT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 65
Özet
Bellek bant genişliği, yüksek performanslı uygulamalar için performans artırmada sınırlayıcı bir faktör olmuştur. Bu sınırlamanın üstesinden gelmek için çeşitli heterojen bellek sistemleri ortaya çıkmıştır. Heterojen bir bellek sistemi her biri farklı özelliklere sahip olan birden fazla bellekten oluşur. Bu bellek sistemleri çeşitlilik gösterseler de ortak bir özelliğe sahiptirler. Bu özellik sistemdeki diğer belleklere kıyasla daha yüksek bant genişliğine sahip bir belleğin içerilmesidir. Bu özel bellek ise genelde yüksek bant genişliği belleği (HBM) olarak bilinir. HBM teknolojilerinden bazıları, Micron'un hibrid bellek küpünü (HMC) ve JEDEC'in yüksek bant genişliği bellek standardını içerir. Intel'in en yeni Xeon Phi işlemcisi Intel Knights Landing (KNL), DDR ile birlikte çok kanallı DRAM veya MCDRAM olarak da bilinen bir HBM ile donatılmıştır. DDR'de bant genişliği 88 GB/s iken, MCDRAM'de bu rakam 450 GB/s'dir. Ancak, bant genişliği arttıkça, MCDRAM için gecikme süresi artar. Buna ek olarak, teknolojik kısıtlardan ve bayt başına yüksek fiyattan dolayı HBM, heterojen bellek sistemlerinde geleneksel DDR'ye kıyasla küçük bir kapasitede sunulmaktadır. HBM'nin bu kapasite kısıtının üstesinden gelmek için, heterojen bellek sistemleri daha yüksek kapasiteli bir DDR ile donatılmıştır. Bu tür sistemlerde, programcı her belleğe özel ayırma yapabilir veya donanım HBM'yi önbellek olarak kullanabilir. Akıllı bir nesne yerleştirme şeması, uygulamalarda performans artışı sağlayabilir. Bunun aksine, bellek ve uygulamaların özelliklerini dikkate almadan yerleştirme yapılırsa, uygulamaların genel performansı büyük ölçüde düşebilir. Nesne yerleştirme seçimi ve buna ek olarak sistem konfigürasyonuna karar verme seçimi, programlayıcı için fazladan sorumluluk oluşturur. Bu sorumluluk da artan programlama çabası ve zaman tüketimine neden olur. Bu tez, sistem ve uygulamaya özel maliyet modeline dayanan bir nesne yerleştirme şemasını, genellikle 0/1 Knapsack olarak bilinen bir kombinatorik optimizasyon algoritmasını ve bu ikisini pratikte birleştiren bir aracı sunmaktadır. Maliyet modeli nesne boyutları, bellek erişim sayıları, erişim türü, ve bunun gibi çeşitli uygulama özelliklerini göz önünde bulundurmaktadır. Uygulama karakteristiğine ek olarak, maliyet modeli, veri akış bant genişliği ve veri kopyalama bant genişliği de dahil olmak üzere çeşitli açılardan bellek bant genişliğini de dikkate almaktadır. Bu özellikler, akıllı bir nesne yerleştirme şeması önermeye yarayan maliyet modelimizin içeriğini zenginleştirmektedir. Belirtilen özellikleri kullanarak, maliyet modeli her nesne için bir skor belirler. Bu skorlar, her bir nesnenin Knapsack algoritmasındaki boyutunu ifade eder. Knapsack boyutu olarak ise HBM'nin boyutu kullanılır. Araç, nesne yerleştirmede akıllı bir karar vermek için maliyet modelini kullanır ve iki farklı yerleştirme yapabilir: 1) nesnelerin yerleşiminin en başta yapıldığı statik yerleştirme ve 2) nesnelerin transferine neden olan, uygulamanın fazlarına dayalı olarak HBM'ye aktarma veya HBM'den çıkarma yapılan dinamik yerleştirme. Dinamik yerleştirmede, maliyet modeli, HBM'ye yerleştirilecek nesnelere karar verirken, nesnelerin bir bellekten diğer belleğe olan transferinin maliyetini göz önünde bulundurur. Ayrıca araç, nesneleri eşzamansız transfer etme yeteneğine sahiptir. Eşzamansız transferler, aracın transfer maliyetini uygulamanın fazları arasında gizlemesine olanak sağlar. Yerleştirme şemamızı, NAS Paralel ve Rodinia karşılaştırmalı değerlendirme paketlerinden alınan bir dizi uygulama üzerinde test ettik. Kullanılan uygulamalar, pratikte kullanılan uygulamalarının özelliklerini sergileyen, değişken iş yüklerine ve bellek erişim modellerine sahiptirler. Değerlendirme için Intel'in Knights Landing işlemcisini ve yüksek bant genişliği belleği olan MCDRAM'yi kullanıldık. Geliştirdiğimiz araç tarafından önerilen nesne şeması, 2,5 kata kadar bir hızlanma sağladı. Gecikme süresine duyarlı uygulamaların yüksek bant genişliğine sahip bellek yerleşiminden yararlanamadıklarını da gözlemledik. Bunun nedeni, HBM'nin daha yüksek gecikme süresine neden olmasıdır. Ayrıca, sonuçları Intel KNL'nin otomatik donanım önbelleği ile de karşılaştırdık. Donanım modunda, uygulama, herhangi bir değişiklik yapılmadan yürütüldü ve donanım tarafından otomatik olarak önbelleğe alma işlemi yapıldı. Yerleştirme şemamızın, çoğu zaman otomatik donanım önbelleğinden daha iyi sonuç verdiğini gözlemledik.
Özet (Çeviri)
Memory bandwidth has long been the limiting scaling factor for high-performance applications. To overcome this limitation, various heterogeneous memory systems have emerged. A heterogeneous memory system is equipped with multiple memories each with distinct characteristics. Among other characteristics, one common characteristic across these systems includes a memory with a significantly higher bandwidth than the others. This particular memory is known as the high bandwidth memory in general. Some of such high bandwidth memory (HBM) technologies include the hybrid memory cube (HMC) by Micron and high bandwidth memory standard by JEDEC. Intel's latest Xeon Phi processor, namely Intel Knights Landing (KNL), is equipped with an HBM known as the multi-channel DRAM, or MCDRAM, along with a DDR. The MCDRAM boasts up to 450 GB/s memory bandwidth as compared to its slower counterpart DDR which boasts only up to 88 GB/s. Unfortunately, as the bandwidth increases, the access latency for MCDRAM increases. Due to technology limitations and the high price per byte rate, HBM is offered in a small capacity as compared to traditional DDR in heterogeneous memory systems. Therefore, to overcome the smaller capacity of HBM, a heterogeneous memory system is also equipped with a higher capacity DDR. In such systems, the programmer is offered a choice to perform explicit allocations to each memory or let hardware handle data caching to the HBM. An intelligent object allocation scheme can yield a performance boost of the application. On the contrary, if an allocation is made without considering memory and application characteristics the overall performance of an application can drastically degrade. The object allocation choice coupled with the choice of deciding a system configuration can overburden the programmer resulting in increased programming effort and time consumption. This thesis presents an object allocation scheme which is based on a system and application-specific cost model, a combinatorics optimization algorithm commonly known as the 0/1 Knapsack and a tool which combines these two components in practice. The cost model considers various characteristics of application data such as the object sizes, memory access counts, type of access, etc. In addition to application characteristics, the cost model also considers memory bandwidth under various conditions, including data streaming bandwidth and data copy bandwidth. These characteristics make our cost model rich allowing it to suggest an intelligent object allocation scheme. Using the aforementioned characteristics, the cost model determines a score for each object. These scores are used as values for each object in the 0/1 Knapsack algorithm to determine objects to be allocated on HBM where Knapsack size is HBM size. The tool uses the cost model to make an intelligent decision for object placement. The tool comes in two flavors: 1) static placement where object placement is decided at the beginning of application execution and 2) dynamic placement where objects are evicted and admitted to high bandwidth memory on the run based on application phases thus incurring the object movement cost. In the latter variant, the cost model considers the movement cost of objects from one memory to another while deciding on objects to be placed on the HBM. The tool is also capable of conducting object transfers asynchronously. The asynchronous transfers allow the tool to hide the transfer cost between phases. We evaluate our allocation scheme using a diverse set of applications from NAS Parallel and Rodinia benchmark suites. The included applications have varying workloads and memory access patterns which exhibit the characteristics of real-world applications. During the evaluation, Intel's Knights Landing and its high bandwidth memory, namely MCDRAM, was used. The object placement suggested by the tool yields a speedup of up to 2.5x. We observe that latency-sensitive applications fail to benefit from high bandwidth memory allocation. This is because of the higher access latency of HBM. We also compared the results with the automatic hardware caching of Intel KNL. In hardware mode, the application is executed on the system without any changes and the caching is done by hardware automatically. We observe that our allocation scheme yields result better than that of hardware caching majority of the time.
Benzer Tezler
- Leveraging data-flowinformation for efficientscheduling of task-parallelprograms on heterogeneoussystems
Başlık çevirisi yok
OSMAN SİMSEK
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolThe University of ManchesterDR. ANTONİU POP
- Optimal jammer placement in a wireless communication network by clustering
Kablosuz iletişim ağinda kümeleme yöntemiyle optimal jammer yerleşimi
MAHMUT ANIL ÖZCAN
Yüksek Lisans
İngilizce
2023
Endüstri ve Endüstri MühendisliğiOrta Doğu Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA KEMAL TURAL
- Un modèle d'exécution de requêtes mobiles pour des sources à accès restreints en environnement d'intégration de données
Başlık çevirisi yok
BELGİN ERGENÇ
Doktora
İngilizce
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversité Toulouse III Paul SabatierPROF. DR. ABDELKADER HAMEURLAİN
PROF. DR. HALİL ŞENGONCA
- Kablosuz algılayıcı düğüm dağıtımında evrimsel algoritma tabanlı optimizasyon
Evolutionary algorithm-based optimization of wireless sensor node deployment
SİBEL BİRTANE AKAR
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAYRİYE KORKMAZ
PROF. DR. ÖZGÜR KORAY ŞAHİNGÖZ
- Sınıf öğretmenlerinin özel öğrenme güçlüğü alanına ilişkin yeterlik düzeylerinin belirlenmesi ve diskalkuliye ilişkin görüşlerinin incelenmesi
Determination of classroom teachers' levels of competence in the field of special learning disability and examination of their opinions on dyscalculia
MUZAFFER ÜLGER
Yüksek Lisans
Türkçe
2023
Eğitim ve Öğretimİnönü ÜniversitesiTemel Eğitim Ana Bilim Dalı
DOÇ. DR. SÜMEYRA AKKAYA
DR. ÖĞR. ÜYESİ GAMZE AKKAYA