Geri Dön

Energy modelling and applications of neural network accelerators

Yapay sinir ağlarını hızlandırıcı devrelerin enerji tüketiminin modellenmesi ve uygulamaları

PDF İndir

  1. Tez No: 864179
  2. Yazar: BERKE AKGÜL
  3. Danışmanlar: DOÇ. DR. TUFAN COŞKUN KARALAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 93

Özet

Günümüzde Yapay Sinir Ağları giderek yaygınlaşması ile beraber nöral ağların kullanımı birçok alanda çığır açıcı gelişmelere sebep olmuştur. Bu alanlar oldukça geniş bir dağılıma sahip olmaktadır. Sağlık sektöründen, savunma teknolojilerine kadar birçok alanda aktif olarak kullanılan görüntü, ses işleme gibi sınıflandırma teknikleri ile beraber Yapay Sinir Ağlarının kullanımı araştırma ve geliştirme projelerinin temel taşı olmuştur. Bu gelişmeler ışığında derin öğrenmeyi daha kapsamlı olan veri setlerinde deneyebilmek zorunlu hale gelmiştir. Dolayısıyla, kapsamlı veri setlerinde iyi bir sınıflandırma tahmini yapılabilmesi için oldukça karmaşık ağ yapıları kullanılmalıdır. Karmaşık ağ yapılarının, büyük çaplı veri setlerinde daha iyi bir sonuç vereceği aşikârdır. Ancak bununla birlikte dezavantajlı durum olarak hesap yükünün ciddi manada artması gösterilebilir. Kabaca buradaki durum ele anılırsa, bir nöral ağın herhangi bir katmanının giriş ve çıkış karakteristiğin hesaplanması için katmanın boyutuna bağlı olarak değişen bir matris ile çarpım işleminin gerçekleştirilmesi gerekir. Bu katmanların boyutu ve adedi arttıkça bu çarpımların adedi artacaktır. Dolayısıyla, hesaplama kısmında harcanan süre ve enerji gittikçe artacaktır. Bununla beraber nöral ağların kapsamı genişlemesiyle birlikte daha güçlü donanım elemanlarına ihtiyaç oldukça artmıştır. Bir nöral ağın işlenmesi anında birçok aritmetik işlem yapılmaktadır. Bu aritmetik hesaplamaların hesaplanış biçimi donanımın yapısına göre oldukça farklılaşmaktadır. Ancak oldukça yaygın olarak kullanılan mikroişlemcilerde bu hesaplama, bellekte saklanan değerin her bir matris elemanın mikroişlemci içerisinde bulunan ALU olarak isimlendirdiğimiz hesaplama ünitesine aktarımı ve belleğe işlenmiş verinin geri döndürülmesi ile tamamlanır. Bellek ile işlemcinin ayrıldığı bu yapı von-Neumann olarak adlandırılır. Bu yapı incelenirse nöral ağdaki her bir matrisin boyutunu düşünürsek, mikroişlemci ile bellek arasında taşınan verinin oldukça fazla olacağı aşikâr olur. Verinin aktarımı hızının kısıtlamasından dolayı bir dar-boğaz oluşur, yani bütün yapının işlem hızını sınırlayan etki bellek ile işlemci arasındaki veri aktarım hızı olur. Oluşan bu dar-boğaz etkisini azaltmak ve nöral ağlar üzerinde çalışan algoritmaların aritmetik hesaplarının hızlandırılması için standart ve yaygın olarak kullanılan von-Neumann yapısı yerine bellek ile hesaplama ünitesinin beraber çalışabileceği daha farklı yapılar çeşitli çalışmalarda önerilmiştir. Öne sürülen bu yapılar iki başlık altında sınıflandırılabilir; Dijital Hızlandırıcılar, Analog-Mixed Hızlandırıcılar. FPGA gibi hazır donanımlar üzerinde nöral ağlar üzerinde çalıştırılan algoritmalar esnasında ihtiyaç duyulan matris çarpımlarının hızlandırılması ya da bu matris çarpımının özelleştirilmiş dijital çipler (ASIC) ile gerçekleştirilmesini sağlayan devreler Dijital Hızlandırıcı olarak adlandırılır. Bu tip hızlandırıcılar, paralelliğin avantajından dolayı aynı anda çok daha fazla operasyon yapabilme kapasitesine sahiptir. Buna rağmen bu tip hızlandırıcılarda veri aktarımı sonucunda oluşan dar-boğaz etkisi hala gözükür. Bu durumu tamamen ortadan kaldırmak için ise Analog-Mixed Hızlandırıcı kategorisinde bulunan In-Memory-Computing metodu kullanılır. IMC yapılarının kullanım alanlarının günümüzde giderek artması ile beraber, bu yapıların enerji tüketiminin tahmin edilebilmesi önem kazanmıştır. Bu alanda bir nöral ağın IMC yapısı üzerinde çalıştırıldığı zaman ne kadar enerji harcayacağını modelleyecek bir sistem, tasarımcıların devre tasarımı esnasında büyük bir kolaylık sağlayacaktır. Buna bağlı olarak çeşitli modellemeler ortaya atılmıştır. Bu çalışmalar kısaca üç başlık altında incelenebilir; yazılım araçları kullanarak gerçekleştirilen tahmin modeli, IMC yapısının FPGA üzerinde benzetimi gerçekleştirilerek tahmin modeli oluşturulması ve analitik bir tahmin modeli üretilmesidir. Bu alt başlıklardan yazılımsal ve benzetim ile gerçekleştirilen modeller, elektronik tasarım otomasyonu (EDA) enerji benzetimine yakın sonuç elde etmesine rağmen nöral ağın karışıklığına göre benzetimin tamamlanması günler alabilmektedir. Ancak analitik bir tahmin modeli, diğer metotlara göre çok daha kısa sürede enerji modellenmesini sağlamaktadır. Bu çalışmada analitik bir model kullanılarak IMC yapılarının enerji tüketimini hızlı bir şekilde hesaplanmasını sağlayan bir algoritma tasarlanmıştır. Bu algoritma ile çeşitli veri yapılarına (dataset) 'e göre enerji tüketiminin hesaplanması sağlanmaktadır. Algoritmanın temeli SRAM yapısına sahip olan IMC yapılarını temel almakla beraber, algoritmanın doğruluğunu test edebilme amacıyla 5 farklı MNIST ve türevi veri yapısı uygulanmıştır. Üretilen analitik enerji tahmin modeli, farklı bir çalışmada üretilen NeuroSim adlı yazılım tabanlı enerji benzetim programı ile doğrulanmıştır. Bu doğrulama aşamasında tahmin performansı ile beraber üretilen enerji modelinin hızı diğer farklı algoritmalar ile kıyaslanmıştır. Sonuç olarak bu kısımda 5 farklı dataset için hata oranımız \%1.5'un altında kalmış olup, algoritmanın çalışma hızı NeuroSim benzetimine göre binler ile ifade edilebilecek katlarda hızlandırma sağlanmaktadır. Tüm bu doğrulamalara ek olarak, oluşturduğumuz enerji modeli kullanılarak 5 farklı MNIST ve türevi veri yapısının IMC üzerindeki enerji tüketimi ve nöral ağ performansını optimize edebilmek için çeşitli örnekleme konfigirasyonu test edilmiştir. En optimum örneklendirme konfigirasyonu seçilebilmesi için ise bir Figure of Merit (FOM) başarı kriteri tanımlanmıştır. Buna göre en uygun örnekleme konfigürasyonu bulunarak \%30'a kadar daha iyi çalışabilen durumlar gözlenmiştir. Sonuç olarak, üretilen enerji modelinin son derece hızlı çalışması tasarım aşamasında herhangi bir IMC çipinin belli çalışma koşulları altında enerji tüketim karakteristiğinin nasıl olabileceği ile ilgili hızlı bir sonuç elde etmektedir. Bu sayede bir IMC çipinin tasarım aşamaları daha hızlı ve verimli olarak tamamlanması sağlanır.

Özet (Çeviri)

Nowadays, with the increasing prevalence of Artificial Neural Networks (ANN), the use of neural networks has led to groundbreaking developments in many fields from the health sector to defense technologies. The use of ANN along with classification techniques such as image and sound processing, have become the cornerstone of research and development projects. As the demand for these projects increases, more complex network structures are frequently used in these types of projects. Along with the better ANN performance, the utilization of complex network structures has a downside of an increase in the amount of required arithmetical calculation. To calculate the input and output characteristics of any layer of a neural network, multiplication must be evaluated. Corresponding to that, the number of these multiplications will increase with the dimensions of a neural network layer. With respect to that, the time and energy spent on the calculation process will increase gradually. This will require more powerful hardware elements for the evaluation of ANNs. The arithmetic calculation process for matrix multiplications depends on the specific hardware. In frequently used microprocessors, this calculation is accomplished by transferring the pre-processed data and processed data between the Arithmetical Logic Unit (ALU) and Random Access Memory (RAM). This structure, where RAM and ALU are separated, is named as von-Neumann architecture. If we examine this structure and consider the amount of matrix calculation, it becomes obvious that the data carried between the microprocessor and memory will cause a bottleneck. This phenomenon occurs due to the frequent data transfer, and limits the processing power of the whole architecture. To reduce the effect of bottleneck, different structures are proposed to improve parallel operation and reduce the unnecessary communication overhead between Processing Unit and Memory. These proposed architectures is classified under two headings; Digital Accelerators, and Analog-Mixed Accelerators. Realization of several ANN algorithms on the FPGAs or directly synthesizing ASIC chips can be shown as a frequently used digital accelerator for ANN's. These types of architectures has benefit of very high parallel processing power. However, the bottleneck is still visible in such accelerators. To completely eliminate this bottleneck, the In-Memory-Computing (IMC) structure, which is in the Analog-Mixed Accelerator category, is proposed. In this structure, arithmetic blocks in the individual memory cell perform the multiply-and-accumulate (MAC) operations required for matrix multiplication. These structures have a high-speed operation as there is no data transfer needed between Processing Unit and Memory. The excellence of IMC architectures enabled the designers to employ these structures in their designs. Corresponding to that, it has become important to predict the energy consumption of IMC architectures. In this field, an energy consumption model for IMC architecture will provide great convenience to designers during design explorations. Accordingly, various models are proposed which can be examined under three categories; Software Simulation for Modelling, Emulation in FPGA for Modelling, and Analytical Modelling. Although software and simulation methods achieve results close to electronic design automation (EDA) energy simulation results, it may take days to complete the simulation depending on the complexity of the neural network. However, an analytical prediction model can achieve minimal accuracy loss with much shorter execution time compared to other methods. In this study, an energy consumption model for SRAM-based IMC structures is proposed. This model achieves energy consumption results for various datasets. For validation, 5 different MNIST and its derivative data are used to examine the accuracy of the algorithm with the comparison between NeuroSim software simulation. In this verification phase, the execution time of our model is compared with NeuroSim as well. As a result, our model can create an estimation with an error rate below than 1.5\%. The speed of our algorithm is reduced by the orders of magnitude 1000× compared to NeuroSim. Along with these verification steps, all possible quantization configurations were tested for 5 different MNIST-like datasets to optimize the energy consumption and neural network performance. For this propose, a Figure of Merit (FOM) success criterion is defined. Following to that, FOM can be improved nearly as 30% by selecting different quantization configurations for specific cases.

Benzer Tezler

  1. Tez No

    675955

    Modelling longitudinal motion of an electric vehicle and wheel slip control through NN based uncertainty prediction

    Elektrikli aracın boyuna hareketinin modellenmesi ve yapay sinir ağı tabanlı belirsizlik kestirimli tekerlek kayma kontrolü

    DUYGU ÖZYILDIRIM

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. OVSANNA SETA ESTRADA

  2. Tez No

    126878

    Yakıt pili deneysel süreçlerinin yapay sinir ağları yaklaşımıyla modellenmesi

    The Artificial neural networks approach to the modelling on experimental processes of fuel cell

    YAVUZ GAZİBEY

    Yüksek Lisans

    Türkçe

    Türkçe

    2002

    Savunma ve Savunma Teknolojileriİstanbul Teknik Üniversitesi

    Savunma Teknolojileri Ana Bilim Dalı

    DOÇ. DR. İPEK BECERİK

  3. Tez No

    759952

    Evrişimsel sinir ağlarının FPGA üzerindehızlı ve kaynak verimli kısmi yapılandırma tabanlı gerçeklenmesi

    Fast and resource efficient implementation of convolutional neural networks on FPGA based on partial reconfiguration

    HADEE MAD-A-DUM

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. YAŞAR BECERİKLİ

  4. Tez No

    482486

    Measurements-based system identification of gas turbine generator

    Gaz türbini jeneratörünün ölçüm esasına dayalı sistem tanımlaması

    AMEER H. SABRY

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Makine MühendisliğiTürk Hava Kurumu Üniversitesi

    Makine ve Uçak Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. HABIB GHANBARPOURASL

  5. Tez No

    728716

    Short term electricity load forecasting with deep learning

    Derin öğrenme ile kısa dönemli elektrik yük talep tahmini

    İBRAHİM YAZICI

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA

Geri Dön