Deep learning model optimization for real-time smallobject detection on embedded gpus
Gömülü GPU'larda gerçek zamanlı küçük nesne tespiti için derin öğrenme model optimizasyonu
- Tez No: 714967
- Danışmanlar: PROF. DR. HASAN FEHMİ ATEŞ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Ağ inceltme yöntemi, Derin öğrenme, Gömülü yapılar, Görüntü işleme, Gözetim, Kodlama, Mesh refinement method, Deep learning, Embedded structures, Image processing, Surveillance, Coding
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Medipol Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Kameralı hava araçları genellikle gözetleme alanında kullanılmaktadır. Bu gözetleme sistemlerinin birçoğu objeleri iki adımda izler; ilk olarak, hedeflerini tespit eder ve tanır, daha sonra bu hedefleri canlı video akışında takip eder. Fakat, günümüzde obje tespit algoritmaları genellikle yüksek hesap gücü olan ve GPU ile desteklenen sistemlerde, geniş görüntü veri seti ile eğitilen derin öğrenme modelleri kullanmaktadır. Dahası, obje takibinde öznitelik eşleştirme ve ilişkilendirme yönetimleri sisteme daha fazla iş yükü bindirmekte ve bu gerçek zaman performansını etkilmektedir. Geniş Alan Gözetleme (GAG) uygulamalarında, yer hedeflerini bulmak ve takip etmek için görüş tabanlı nesne algılama ve hedef takibi gereklidir. Fakat, bu insansız hava uçakları (İHA) yerden çok yüksekte çalışır ve bu sebeple yerdeki objeler çok küçük görünür. Bu sebeple, özellikleri derinlemesine tarayabilen ve bu küçük yer nesnelerini tanıyabilen hassas bir obje dedektörü gereklidir. Ayrıca, derin öğrenme yaklaşımını kullanan CNN tabanlı obje dedektörleri, kapsamlı hesaplamaları ve karmaşık matematiksel modelleri nedeniyle gömülü veya uç cihazlarda çalışmak için ağırdır. Bu tezde, Çoklu Nesne Takibi (ÇNT) sisteminin performansını etkileyebilecek yukarıda belirtilen sorunları araştırdık. Bu tezin amacı, Nvidia Jetson AGX Xavier gibi uç gömülü cihazlarda etkin bir şekilde çalışabilen, gürbüz ve gerçek zamanlı bir takip sistemi tasarlamaktır. İlk olarak, tek aşamalı bir dedektör seçtik ve küçük objeler için daha rafine ve ince tanecikli öznitelikler elde etmek adına yukarı örnekleme katmanlarını bağlayarak ve yukarı örneklenen öznitelikleri orijinal özniteliklerle birleştirerek mimari tabanlı öznitelik iyileştirme üzerinde çalıştık. Bu da daha kesin obje algılamaya yardımcı oldu. Daha sonra, karmaşık obje tespit modellerini hafif sistemlere dönüştürmekle ilgili, olası (CPU ve GPU tabanlı) model optimizasyon yaklaşımlarını keşfettik. Bu yaklaşımlar, TensorRT [1] boru hattı kullanılarak yapılan karışık hassasiyet optimizasyonu ve katman füzyonu, çok-izlekli programlama ve çeşitli budama tekniklerini içermektedir. Bu tekniklerin kullanılması obje tespit modelimizin doğruluk ve verimlilik hedeflerinden ödün vermeden gerçek zamanlı sonuçlar almamızı sağlamıştır. Ayrıca, Visdrone [2] tespit veri seti üzerinde veri artırma teknikleri uyguladık ve bu da test veri setinde daha yüksek ortalama kesinliğe yol açtı. Benzetim sonuçları, farklı tespit/takip modelleri ile bunların optimize edilmiş sürümleri arasındaki performans açısından kapsamlı karşılaştırmaları göstermektedir.
Özet (Çeviri)
Camera mounted drones are mostly used in surveillance applications. Most of these surveillance systems track objects in two steps; firstly, they detect and recognize targets in a scene and then track those targets in the upcoming live video feed. However, current object detection algorithms mostly use deep learning models that are trained on large image datasets that require high computing power and GPU supported systems. Moreover, feature matching and association handling in object tracking also create more payload on a system that affects performance in real-time. For Wide Area Surveillance (WAS) applications vision-based object detection and target tracking is necessary to locate and follow ground targets. However, these UAVs operate at very high altitude above the ground, due to which ground objects look very small and less visible. Hence an accurate object detector is needed which can deeply scan the features and recognize these small ground objects respectively. Meanwhile, using the deep learning approach, CNN based object detectors are heavy to operate on embedded or edge devices because of their extensive computation and complex mathematical models. In this thesis we investigate both above stated problems that can affect the performance of Multi Object Tracking (MOT) system. The motivation of this thesis is to design a robust and real-time tracking system that can operate effectively on edge embedded devices like Nvidia Jetson AGX Xavier. First we choose one-stage detectors and work on architectural based feature enhancement by connecting Up-sampling layers and concatenating the up-sampled features with the original features to obtain more refined and grained features for small objects, which leads to more accurate small object detection, and Second we explore possible (CPU and GPU based) model optimization approaches involved in transforming the complex object detection models to lightweight systems, which include mix precision and layers fusion using TensorRT [1] pipeline, multi-threading, and several pruning techniques to work our object detection models for real-time performance, without sacrificing accuracy and efficiency goals. Moreover, we apply data augmentation techniques on Visdrone detection dataset [2] which also lead to improved mean Average Precision (mAP) [3] on the test dataset. Simulation results show extensive comparisons in performance between different detection/tracking models and their optimized versions.
Benzer Tezler
- X-ışını fındık görüntülerinde kusur belirlemeye yönelik derin öğrenme tabanlı bir yaklaşım
A deep learning based approach for defect detection in x-ray hazelnut images
SULTAN MURAT YILMAZ
Doktora
Türkçe
2025
ZiraatSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERAP ÇAKAR KAMAN
DR. ÖĞR. ÜYESİ ERKAN GÜLER
- Gerçek zamanlı nesne algılama algoritmalarının karşılaştırılması
Comparision of real-time object detection algorithms
ELİF NUR YILMAZ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. TUĞBA SELCEN NAVRUZ
- Vision-based detection and recognition of maritime objects for autonomous surface navigation
Otonom deniz seyrüseferi için görüntü tabanlı engel tespiti ve gemi sınıflandırma
SEVDA SAYAN YONCA
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Deprem sonrası betonarme kolonlarda boyuna donatı burkulmasının makine öğrenmesi ile tespiti
Detection of longitudinal reinforcement buckling in reinforced concrete columns post-earthquake by machine learning
BAHADIR GÜLEŞMEN
Yüksek Lisans
Türkçe
2025
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER TUĞRUL TURAN
- Derin öğrenme ile süper çözünürlüklü radar görüntüleme
Super resolution radar imaging with deep learning
İREM FADİME ERİM
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER