Multi-object tracking by associations on temporal window
Geçici pencerede çağrışımlara dayalı çoklu nesne takibi
- Tez No: 521693
- Danışmanlar: PROF. DR. TANKUT ACARMAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Galatasaray Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 44
Özet
Bu tezde görüntü üzerinde çoklu nesne araç takip sistemi önerilmiştir. Ardışık çerçevelerde nesnenin birim pozisyon değişikliğini nesnelerin aidiyetleri uzerine minimum maliyet maksimum akış problemini çözerek oluşturulmaktadır. Son yıllardaki Evrişimli Sinir Ağları işleyiş süresi ve nesne tespiti performans artışları“tespit-ederek-takip”yaklaşımını oluşturmuştur.“Tespit-ederek-takip”yaklaşımı ardışık çerçevelerde tespit edilmiş nesneler uzerinden data veya kimlik cağrışımları yapılması yöntemidir. Onerilen takip sistemi otonom surus uygulamalarını hedef almaktadir; hareketli şekilde kaydedilmiş sahne kayıtları, hareket eden merkez araçtan, üzerinde çalışma kabiliyeti bulunmaktadir. Nesne tanımlama görevi 3 adet ImageNet veri seti üzerinde eğitilmiş daha sonrasında ise KITTI nesne tanimlama veri seti uzerinde son katman ayarları yapılmıs Faster R-CNN Inception ResNet v2 ağından oluşan Sinir Ağları Topluluğu ile gerçekleştirilmektedir. Ayrıca Sinir Ağları Topluluğunun ürettiği sınırlayıcı nesne pozisyon kutularini birşeltirilmesi icin yeni bir metod önerilmiştir. Otonom sürüş için gerekli sayısal olarak karmaşık gereksinimler, konumlandırma, doluluk kafesleme guncellemesi, alıcı füzyonu, yörünge planlama vb., gereksinimlerle onem duyularak hesaplama kaynakları iki veya üç görüntü çerçevesinde geçici zaman aralığına odaklanılarak efektif bir sekilde kullanılmıştır. Geçici penceredeki olası bütün cağrışımlar yerine seyrek yakınlık ağı oluşturularak minimum maliyet maksimum akış problemi çözülmüştür. Hesaplama bakımından daha hafif bir versiyonda denenmiştir, ardışık iki görüntü çerçevesinde tespit edilmiş nesneler için ikili graf benzerlik ağırlıkları doğrusal toplam atama problemi, Macar Algorithmasi ile çözülmüştür. Önerilen yöntemlerin değerlendirilmesi KITTI Nesne Takibi Değerlendirme 2012 veri setinde 'Araba' sınıfı ile gerçekleştirilmiştir. KITTI Nesne Takibi veri seti 8.008 görüntü çerçevesinden oluşan 21 eğitim ve 11.095 görüntü çerçevesinden oluşan 29 test sekansı içermektedir. Çerçeveler saniyede 10 defa ile ölçümlenip kaydedilmiş, her sekansin birbirinden farklı uzunluğu ve değerlendirdiği hareket senaryoları içermektedir. Önerilen model ortalama olarak 20 hertz frekans ile çalışmakta olup cevrimiçi modeller ile kıyalandığında KITTI siralamasinda MOTA, MT ve ML metriklerinde ikinci olup, IDS metriğinde en iyi performansı göstermiştir.
Özet (Çeviri)
In this thesis, multiple-object vehicle tracking system that generates tracklets by solving the min-cost max flow problem of affinity between detected objects of consecutive frames are proposed. Recent performance enhancement in runtime and detection accuracy of Convolutional Neural Networks and their capability is object detection created the tracking-by-detection paradigm. Tracking-by-detection is the approach of data i.e. identity, association between individual frames of a sequence. The proposed tracking system is targeted to autonomous driving applications, with being able to track on non-stationary scene recordings, i.e. from a moving ego vehicle. Object detection task is performed using an Neural Network Ensemble consisting of 3 Faster R-CNN Inception ResNet v2 networks, that are trained on ImageNet dataset and fine-tuned for KITTI Object Detection Dataset. A method is proposed for combining the bounding boxes generated from each of the Convolutional Neural Network. Efficient usage of the processing resources for autonomous driving that should satisfying the requirements of computationally complex tasks such as localization, object detection, occupancy grid update, sensor-fusion, trajectory planning etc. are respected by generating tracklets on a temporal window of three frames. Also data association is done by solving min-cost flow of sparse affinity network rather than considering all possible assignments, that solves memory and computational constraints. Lighter version of the method is also presented where the temporal window is reduced to two consecutive frames and data association is done by solving linear sum assignment problem, minimum weight matching of a bipartite graph introduced by the Hungarian Algorithm. For evaluation of the trackers KITTI Object Tracking Evaluation 2012 dataset and 'Car' class is used. KITTI Object Tracking dataset consists of 21 training sequences with 8.008 frames and 29 testing sequences with 11.095 frames. Frames were recorded at 10 FPS from a camera mounted on the ego vehicle. All sequences have varying number of objects and lengths with their unique motion scenarios. In our evaluation study, the following metrics are adopted: Recall, Precision, F1-Measure, False Alarm Rate, False Positives, False Negatives relating to the object detection task and Runtime, widely used CLEAR MOT metrics like Multiple Object Tracking Accuracy and also Fragmentation ,ID-switch, Mostly-Tracked and Mostly-Lost for MOT evaluation. with our model performing second on MOTA, MT, ML metrics compared to the state-of-the-art online MOT methods. It showed less than half of the reported IDS from the best MOTA metric and lower FRAG, while working 6 times faster, with mean runtime at 20 Hz.
Benzer Tezler
- Benzerliğe dayalı derin siyam ağları ile çok nesneli takipte kişileri yeniden tanımlama
Similarity based person re-identification for multi-objecttracking using deep siamese network
HARUN SULJAGIC
Yüksek Lisans
Türkçe
2022
Bilim ve TeknolojiSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. NUMAN ÇELEBİ
- Multiple pedestrian tracking by kernelized correlation filters
Çekirdek korelasyon süzgeci tabanlı çoklu yaya takibi
IBRAHIM ABU ARAFAH
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Prof. Dr. NAFİZ ARICA
- Evrişimli sinir ağı özelliklerine dayanan korelasyon filtreleme ve veri ilişkilendirme ile çoklu nesne takibi
Multiple object tracking with data association and correlation filter based on convolutional neural network features
ELNURA ARSLAN
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Uludağ ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CEYDA NUR ÖZTÜRK
- Deep learning model optimization for real-time smallobject detection on embedded gpus
Gömülü GPU'larda gerçek zamanlı küçük nesne tespiti için derin öğrenme model optimizasyonu
SHAROZE ALI
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Medipol ÜniversitesiElektrik-Elektronik Mühendisliği ve Siber Sistemler Ana Bilim Dalı
PROF. DR. HASAN FEHMİ ATEŞ
- Bilgisayarlı görü ile dijital ergonomik risk değerlendirme sistemi: REBA, RULA ve OWAS uygulaması
Digital ergonomic risk assessment system with computerized vision: REBA, RULA and OWAS application
ANIL ÖZKAN GEÇİCİ
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPER KİRAZ