Nicelenmiş derin öğrenme ağları için FPGA tabanlı hızlandırıcı tasarımı
FPGA-based accelerator design for quantized deep learning networks
- Tez No: 786737
- Danışmanlar: PROF. DR. AYHAN İSTANBULLU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Balıkesir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 98
Özet
Hayatı kolaylaştıran akıllı mobil cihazların geliştirilmesi günümüz teknolojisinin en önemli uygulama alanlarından biridir. Bu tür teknolojiler geliştirilirken derin öğrenme tekniği oldukça yaygın olarak kullanılmaktadır. Derin öğrenme algoritmaları milyarlarca kayar noktalı (GFLOPS) matematiksel işlem ve yüksek hafıza bant genişliğine ihtiyaç duymaktadır. Sıralı işlem yapan klasik işlemciler derin öğrenme uygulamalarında yetersiz kaldıkları için grafik işleme birimleri (GPU), özel entegre devreler (ASIC) ve alan etkili kapı dizileri (FPGA) gibi donanım hızlandırıcılar derin öğrenme uygulamalarında sıklıkla kullanılmaktadır. Özellikle taşınabilir cihazlarda derin öğrenme uygulamalarının gerçekleştirilmesinde FPGA hızlandırıcılar ön plana çıkmaktadır. Bu çalışmada MLP ve Lenet modelleri için Xilinx PYNQ Z1 geliştirme kartı üzerinde hızlandırıcı donanımlar geliştirilmiştir. Bu tez çalışmasında, farklı niceleme seviyelerinde QNN hızlandırıcı geliştirmek için FINN çerçevesi kullanılmıştır. Farklı niceleme ve katlama kombinasyonları kullanılarak MLP ve Lenet modelleri için 23 hızlandırıcı donanım oluşturulmuştur. Geliştirilen donanımlar, kaynak kullanımı, enerji tüketimleri, alan kullanımları ve başarı oranları açısından kıyaslanmıştır. Lenet modeli için W1A2 niceleme, HM katlama seviyesinde geliştirilen hızlandırıcı FashionMNIST veri setini 6800 FPS hızında sınıflandırmıştır. MLP modeli için W1A1 niceleme seviyesinde geliştirilen donanım MNIST veri setini 950 kFPS hızında sınıflandırmayı başarmıştır. Bu model için saniyede gerçekleştirilen işlem sayısı 1018 GOPs iken tüketilen enerji 2.05 W olarak ölçülmüştür. Güç verimliliği (watt başına işlem sayısı) yaklaşık 496 GOPs/W olarak hesaplanmıştır. Benzer çalışmalarla kıyaslandığında daha iyi performans elde edilmiştir.
Özet (Çeviri)
The development of smart mobile devices that make life easier is one of the most important application areas of today's technology. While developing such technologies, deep learning (DL) technique is widely used. DL algorithms require billions of floating-point mathematical operations and high memory bandwidth. Hardware accelerators such as graphics processing units (GPU), special integrated circuits (ASIC) and field effect gate arrays (FPGA) are frequently used in DL applications since classical processors with sequential processing are insufficient in DL applications. FPGA accelerators hold a significant part in the realization of DL applications on portable devices. In this thesis, accelerator hardware was developed on the Xilinx PYNQ Z1 development board for multi-layer perception (MLP) and Lenet models. In this study, FINN framework is used to develop QNN accelerator at different quantization levels. Using different combinations of quantization and folding, 23 accelerators were created for the MLP and Lenet models. The accelerators have been compared in terms of resource usage, energy consumption, area usage and success rates. For the Lenet model, a precision of W1A2 classified the accelerator FashionMNIST dataset developed at the CNV high and FC medium folding levels at a speed of 6800 FPS. The hardware developed at the W1A1 quantization level for the MLP model has succeeded in classifying the MNIST dataset at 950 kFPS. The number of operations per second for this model is 1018 GOPs, while the energy consumed is 2,05W. Power efficiency is calculated at approximately 496 GOPs/W, in comparison to existing studies achieving a better performance.
Benzer Tezler
- Derin öğrenmenin modülasyon sınıflandırma uygulamaları için alanda programlanabilir kapı dizileri üzerinde gerçeklenmesi
Field programmable gate array based implementation of deep learning for modulation classification
KORAY ALIÇ
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN SOYSAL
- Effect of quantization on the performance of deep networks
Nicelemenin derin ağlara etkisi
BAŞAR KÜTÜKCÜ
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE BOZDAĞI AKAR
- Image compression method based on learned lifting-based DWT and learned zerotree-like entropy model
Öğrenilmiş kaldıraç tabanlı DWT ve öğrenilmiş zerotree-benzeri entropi modeline dayalı görüntü sıkıştırma yöntemi
UĞUR BERK ŞAHİN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI
- İHA kullanılarak orman yangınlarının tespiti ve görüntülenmesi için derin öğrenme tabanlı gözetleme sisteminin geliştirilmesi
Development of a deep learning based surveillance system for forest fire detection and monitoring using UAV
IBRAHIM SHAMTA
Yüksek Lisans
Türkçe
2023
Mekatronik MühendisliğiKarabük ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BATIKAN ERDEM DEMİR
- Derin sinir ağları ile genomik tahminler: Deneysel yaklaşım
Genomic predictions with deep neural networks: Experimental approach
ANIL KASAKOLU
Yüksek Lisans
Türkçe
2024
ZiraatAnkara ÜniversitesiZootekni Ana Bilim Dalı
DOÇ. DR. SEYRANİ KONCAGÜL
PROF. DR. RUKİYE DAĞALP