Deep learning model optimization for real-time smallobject detection on embedded gpus
Gömülü GPU'larda gerçek zamanlı küçük nesne tespiti için derin öğrenme model optimizasyonu
- Tez No: 714967
- Danışmanlar: PROF. DR. HASAN FEHMİ ATEŞ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Medipol Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği ve Siber Sistemler Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 88
Özet
Kameralı hava araçları genellikle gözetleme alanında kullanılmaktadır. Bu gözetleme sistemlerinin birçoğu objeleri iki adımda izler; ilk olarak, hedeflerini tespit eder ve tanır, daha sonra bu hedefleri canlı video akışında takip eder. Fakat, günümüzde obje tespit algoritmaları genellikle yüksek hesap gücü olan ve GPU ile desteklenen sistemlerde, geniş görüntü veri seti ile eğitilen derin öğrenme modelleri kullanmaktadır. Dahası, obje takibinde öznitelik eşleştirme ve ilişkilendirme yönetimleri sisteme daha fazla iş yükü bindirmekte ve bu gerçek zaman performansını etkilmektedir. Geniş Alan Gözetleme (GAG) uygulamalarında, yer hedeflerini bulmak ve takip etmek için görüş tabanlı nesne algılama ve hedef takibi gereklidir. Fakat, bu insansız hava uçakları (İHA) yerden çok yüksekte çalışır ve bu sebeple yerdeki objeler çok küçük görünür. Bu sebeple, özellikleri derinlemesine tarayabilen ve bu küçük yer nesnelerini tanıyabilen hassas bir obje dedektörü gereklidir. Ayrıca, derin öğrenme yaklaşımını kullanan CNN tabanlı obje dedektörleri, kapsamlı hesaplamaları ve karmaşık matematiksel modelleri nedeniyle gömülü veya uç cihazlarda çalışmak için ağırdır. Bu tezde, Çoklu Nesne Takibi (ÇNT) sisteminin performansını etkileyebilecek yukarıda belirtilen sorunları araştırdık. Bu tezin amacı, Nvidia Jetson AGX Xavier gibi uç gömülü cihazlarda etkin bir şekilde çalışabilen, gürbüz ve gerçek zamanlı bir takip sistemi tasarlamaktır. İlk olarak, tek aşamalı bir dedektör seçtik ve küçük objeler için daha rafine ve ince tanecikli öznitelikler elde etmek adına yukarı örnekleme katmanlarını bağlayarak ve yukarı örneklenen öznitelikleri orijinal özniteliklerle birleştirerek mimari tabanlı öznitelik iyileştirme üzerinde çalıştık. Bu da daha kesin obje algılamaya yardımcı oldu. Daha sonra, karmaşık obje tespit modellerini hafif sistemlere dönüştürmekle ilgili, olası (CPU ve GPU tabanlı) model optimizasyon yaklaşımlarını keşfettik. Bu yaklaşımlar, TensorRT [1] boru hattı kullanılarak yapılan karışık hassasiyet optimizasyonu ve katman füzyonu, çok-izlekli programlama ve çeşitli budama tekniklerini içermektedir. Bu tekniklerin kullanılması obje tespit modelimizin doğruluk ve verimlilik hedeflerinden ödün vermeden gerçek zamanlı sonuçlar almamızı sağlamıştır. Ayrıca, Visdrone [2] tespit veri seti üzerinde veri artırma teknikleri uyguladık ve bu da test veri setinde daha yüksek ortalama kesinliğe yol açtı. Benzetim sonuçları, farklı tespit/takip modelleri ile bunların optimize edilmiş sürümleri arasındaki performans açısından kapsamlı karşılaştırmaları göstermektedir.
Özet (Çeviri)
Camera mounted drones are mostly used in surveillance applications. Most of these surveillance systems track objects in two steps; firstly, they detect and recognize targets in a scene and then track those targets in the upcoming live video feed. However, current object detection algorithms mostly use deep learning models that are trained on large image datasets that require high computing power and GPU supported systems. Moreover, feature matching and association handling in object tracking also create more payload on a system that affects performance in real-time. For Wide Area Surveillance (WAS) applications vision-based object detection and target tracking is necessary to locate and follow ground targets. However, these UAVs operate at very high altitude above the ground, due to which ground objects look very small and less visible. Hence an accurate object detector is needed which can deeply scan the features and recognize these small ground objects respectively. Meanwhile, using the deep learning approach, CNN based object detectors are heavy to operate on embedded or edge devices because of their extensive computation and complex mathematical models. In this thesis we investigate both above stated problems that can affect the performance of Multi Object Tracking (MOT) system. The motivation of this thesis is to design a robust and real-time tracking system that can operate effectively on edge embedded devices like Nvidia Jetson AGX Xavier. First we choose one-stage detectors and work on architectural based feature enhancement by connecting Up-sampling layers and concatenating the up-sampled features with the original features to obtain more refined and grained features for small objects, which leads to more accurate small object detection, and Second we explore possible (CPU and GPU based) model optimization approaches involved in transforming the complex object detection models to lightweight systems, which include mix precision and layers fusion using TensorRT [1] pipeline, multi-threading, and several pruning techniques to work our object detection models for real-time performance, without sacrificing accuracy and efficiency goals. Moreover, we apply data augmentation techniques on Visdrone detection dataset [2] which also lead to improved mean Average Precision (mAP) [3] on the test dataset. Simulation results show extensive comparisons in performance between different detection/tracking models and their optimized versions.
Benzer Tezler
- Veri güdümlü dijital ikiz modeli ile freze takım tezgahı takım aşınma tahminlemesi ve kesme parametreleri optimizasyonu
Prediction of tool wear and cutting parameter optimization of milling machine tool with data-driven digital twin model
GİZEM BURUN
Yüksek Lisans
Türkçe
2024
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALP ÜSTÜNDAĞ
- Kablosuz kapsül endoskopi görüntülerinin sınıflandırılması için derin öğrenme modellerinin optimize edilmesi
On optimizing deep learning model performance for wireless capsule endoscopy image classification
MOHAMED ALSHAIKH
Yüksek Lisans
Türkçe
2024
Mekatronik MühendisliğiErciyes ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUZAFFER KANAAN
- Mikro şebekelerde derin öğrenme destekli enerji yönetimi
Deep learning assisted energy management in microgrids
HALİL ÇİMEN
Doktora
Türkçe
2020
Elektrik ve Elektronik MühendisliğiKonya Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NURETTİN ÇETİNKAYA
- Hibrit elektrikli araçlarda batarya performans ve yakıt tüketimi değerlerinin modellenmesi ve optimizasyonu
Modeling and optimization of battery performance and fuel consumption in hybrid electric vehicles
YAVUZ ERAY ALTUN
Doktora
Türkçe
2024
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. OSMAN AKIN KUTLAR
- Crew recovery optimization through disruption analysis and deep learning driven column generation
Aksaklık analizi ve derin öğrenme tabanlı sütun oluşturma ile ekip kurtarma optimizasyonu
AHMET HEREKOĞLU
Doktora
İngilizce
2024
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. ÖZGÜR KABAK