FPGA Üzerinde Derin Öğrenme Yöntemiyle İnsan ve Araç Tespiti
Human and Vehicle Detection on FPGA with Deep Learning
- Tez No: 774295
- Danışmanlar: PROF. DR. HASAN ŞAKİR BİLGE
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Gömülü sistemlerdeki son gelişmelerle birlikte, uçtaki cihazlarda yapay zeka uygulamaları artmaktadır. Eski sistemlerde veri, uçtaki cihazlardan toplanırdı ve karar verme işlemi sunucularda gerçekleşirdi. Dolayısıyla, düşük ağ hızı veya ağ problemleri sistem performansını kısıtlıyordu. Fakat, modern gömülü sistemlerde akıllı uygulamalar geliştirilebilir ve çalıştırılabilir durumdadır. Tek bir yonga üzerinde CPU ve FPGA'i birlikte içeren Yonga Üzerinde Sistem (SoC) mimarileri düşük güç tüketimiyle Evrişimsel Sinir Ağları (ESA) çalıştırma olanağı sunmaktadır. Bu tez çalışmasında, yüz tespiti ve insan-araç tespiti uygulamaları için TinyYolov3 mimarisi Brevitas ve FINN altyapısı kullanılarak modifiye edilmiş, eğitilmiş ve üzerinde Xilinx Zynq 7020 SoC bulunan alt seviye ve ucuz bir geliştirme kartı olan PYNQ-Z2'ye yerleştirilmiştir. Brevitas'ın sunmuş olduğu nicelenmiş evrişim katmanı, tam bağlantılı katman ve aktivasyon fonksiyonları gibi temel ESA bileşenleri ile ağırlıklar ve aktivasyon değerleri için çeşitli tam sayı bit genişliklerinde TinyYolov3 modelleri tasarlanmıştır. Daha sonra bu modeller WiderFace ve VisDrone verisetleri ile nicelenmiş bir şekilde eğitilmiştir. Güç tüketimini düşürmek ve yüksek hız elde etmek için lojik kaynakların atamaları optimize edilmiş ve model parametreleri olan ağırlıklar ve aktivasyon değerlerinin saklanması için FPGA'in yonga üzerindeki belleği kullanılmıştır. Ek olarak, son katmanın aktivasyon fonksiyonu Sigmoid'ten yeniden ölçeklendirilmiş HardTanh fonksiyonuna dönüştürülmüştür. Eğitilmiş ESA modelini FPGA'de çalıştırabilmek için model, ESA bileşenlerini C++ kodları halinde içeren FINN-HLS kütüphanesi kullanılarak Vitis HLS ve Vivado araçlarıyla sentezlenmiştir. SoC'nin CPU kısmı önişleme, sonişleme ve sonuçların TCP/IP ile sunucuya gönderilmesi operasyonları için kullanılmıştır. Veri hızını artırmak için işlemlerde çoklu iş parçacığı yöntemi kullanılmıştır. Sonuç olarak 4 bit genişliğine sahip modelde yüz tespitinde saniyede 18, insan-araç tespitinde saniyede 17 adet video çerçevesi hızı ve PYNQ-Z2 kartı üzerinde toplam 2.4 Watt güç tüketimi elde edilmiştir. Ayrıca, yüz tespiti uygulamasında 0,764 doğruluk oranı (mAP), insan-araç tespiti uygulamasında 0,206 doğruluk oranı (mAP) elde edilmiştir.
Özet (Çeviri)
With the latest advances in embedded systems, artificial intelligence applications on edge devices have increased. In older systems, data was being collected from edge devices and decision making was applied on the servers. Therefore, low network speed or network problems were limiting the system performance. However, smarter applications can be developed and run on modern embedded systems. System-on-Chip (SoC) architectures which contain CPU and FPGA in a single chip together offer low power consumption while running Convolutional Neural Networks (CNN). In this thesis, TinyYolov3 architecture is modified, trained and deployed for face and human-vehicle detection by using Brevitas and FINN Framework on PYNQ-Z2 board which is a low-end cheap development board having Xilinx Zynq 7020 SoC. With Brevitas which provides quantized version of convolution, fully-connected and activation layers of a CNN in PyTorch, modified version of TinyYolov3 is created with various integer bit precisions for weights and activations. Then, the models are trained in a quantized form with WiderFace and VisDrone dataset. To reduce power consumption and get higher speed, the logical resource allocation is optimized and on-chip memory of the FPGA is used to store the weights and activations. Additionally, the last layer's activation function is changed Sigmoid to rescaled HardTanh. To run the trained backbone CNN on the FPGA, it is synthesized with Vitis HLS and Vivado by using FINN-HLS library which contains layer definitions of the created model in C++. Besides, CPU of the SoC is utilized for preprocessing, postprocessing and TCP/IP streaming of the results in a multithreading approach to increase throughput. As a result, with the 4 bits precision, 18 Frames Per Second (FPS) throughput for face detection and 17 FPS for human-vehicle detection, 2.4 Watt total power consumption on PYNQ-Z2, 0.764 Mean Average Precision (mAP) accuracy for face detection and 0.206 mAP accuracy for human-vehicle detection are observed.
Benzer Tezler
- 2 boyutlu stokastik hesaplama yöntemiyle fonksiyon gerçekleme
Function implementation with 2 dimensional stochastic calculation method
DURMUŞ ERSOY
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. BURCU ERKMEN
- FPGA tabanlı derin öğrenme algoritması ile baskılı devre kusurlarının tespiti
FPGA based printed circuit board defect detection with a deep learning algorithm
ENES EMRE ÖNER
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiBaşkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELDA GÜNEY
- Nicelenmiş derin öğrenme ağları için FPGA tabanlı hızlandırıcı tasarımı
FPGA-based accelerator design for quantized deep learning networks
MUSTAFA TAŞCI
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiBalıkesir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AYHAN İSTANBULLU
- Derin öğrenme kullanılarak FPGA'lar ile gerçek zamanlı nesne algılama ve tanıma
Real-time object detection and recognition on FPGAS's by using deep learning
VEYSEL YUSUF ÇAMBAY
Yüksek Lisans
Türkçe
2019
Mekatronik MühendisliğiFırat ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYŞEGÜL UÇAR
- Derin öğrenmenin modülasyon sınıflandırma uygulamaları için alanda programlanabilir kapı dizileri üzerinde gerçeklenmesi
Field programmable gate array based implementation of deep learning for modulation classification
KORAY ALIÇ
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiAnkara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN SOYSAL