Geri Dön

Moving object tracking by regularization via sparsity in wide area aerial video

Hava aracından çekilmiş geniş alan videolarında seyreklik tabanlı regülarizasyon ile hareketli nesne takibi

PDF İndir

  1. Tez No: 498115
  2. Yazar: ERDEM ONUR ÖZYURT
  3. Danışmanlar: PROF. DR. BİLGE GÜNSEL KALYONCU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 133

Özet

Son yıllarda dijital görüntülerde hareketli nesne takibi tüm dünyada giderek daha çok araştırmacının dikkatini çekmektedir. Hareketli nesne takibi tüm video boyunca ya da videonun bir parçasında belli bir zaman aralığı boyunca bir nesnenin veya birden fazla nesnenin çerçeve içindeki konumunun kestirimine dayanır. Hareketli nesne takibi işlemi takip edilen nesnenin örtülmesi, parlama veya karaltma, yüksek hız, kameranın hareketi, nesnenin duruş değişikliği ve nesnenin ekranda kapladığı boyutun değişmesi gibi çeşitli zorlukları da beraberinde getirir. Ancak, söz konusu havadan çekilen geniş alanlı videolar olunca hareketli nesne takibi işlemi daha da zorlaşmaktadır, çünkü yukarıda sayılan güçlüklere ek olarak çok uzak mesafeden çekilen görüntüde takip edilen nesne artık çok daha az sayıda pikselle ifade edilmektedir. Bu da kestirimi daha da zorlaştırmaktadır. Havadan çekilen geniş alanlı videoların kullanımının trafik kontrolü, güvenlik gözetimi ve çevre analizi gibi alanlarda giderek artması bu tür güçlüklerle yüzleşmeyi kaçınılmaz kılmaktadır. Bu çalışma kapsamında havadan çekilmiş videolarda hareketli nesne takibi probleminin çözümü için hedef nesne güncellemesi yapabilen yenilikçi bir model kullanılmıştır. Önerilen modelde temel olarak kullanılan regülarizasyonla nesne takibi yönteminde seyreklik tabanlı koşullu yoğunluk yayılımı kullanılmıştır. Regülarizasyon işlemi olası hedef nesne adaylarının seyrek olarak ifade edilmesinin ardından kaynaklarda parçacık filtreleme olarak da geçen koşullu yoğunluk yayılımı algoritmasına göre yeniden oluşturulduğunda en düşük hatayı veren en yüksek olasılıklı hedef nesne adayına yinelenerek yakınsanmasıdır. Hedef nesne adaylarının videonun bir sonraki çerçevesine yayılımı durum vektörünü oluşturan güncellemeli afin dönüşüm parametreleriyle sağlanır. Parçacık filtreleme algoritmasının seyrek gösterimle birlikte kullanılması literatürde mevcut durumdadır. Bu yöntemlerde en yüksek olasılıklı hedef nesne adayına yakınsamanın sağlanması için her bir hedef nesne adayının l1 minimizasyonu kısıtlaması altında sabit veya yavaşça güncellenen hedef şablon kümesinin ve önemsiz şablon kümesinin uzayında lineer gösterimi elde edilir. Ardından bu hedef nesne adayları ile hedef şablon kümesindeki vektörlerin l1 minimizasyonuyla elde edilmiş olan karşılık gelen hedef şablon katsayılarıyla çarpılarak elde edilen vektör arasındaki farkın l2 normu alınır. Bu farkın normu literatürde yeniden oluşturma hatası olarak geçmektedir. Bu hatayı en küçük yapan hedef nesne adayı takip işleminin sonucu olarak belirlenir. Bu işlem her yeni video çerçevesinde yinelenir. Bu çalışmada seyrek gösterimli parçacık filtreleme algoritmasına yapılan ana katkı bir izleme sisteminin algoritmaya dahil edilmesidir. Bu izleme sistemi nesne takip edici sistemin meydana gelen anormallikleri otomatik olarak tespit ederek gözlem modelini güncellemesine olanak verir. Gözlem modeli bu çalışmada kullanılan temel algoritmada hedef şablon vektörlerinden oluşan kümedir. Söz konusu izleme sistemi sayesinde nesne takip sistemi kendisinden elde edilen model parametrelerine bağlı olarak izlenir. Model parametreleri üç parametreden oluşmaktadır: minimum yeniden oluşturma hatası (MRE), önemsiz şablon katsayılarına ait vektörün normunun hedef şablon katsayılarına ait vektörün normuna oranı (ER) ve l1 minimizasyonu sırasında kullanılan parçacık sayısı (Pl1). MRE, anlık video çerçevesinde hedef aday şablonlarının yakınsamasından sonra elde edilen minimum hatayı veren hedef aday şablonundan elde edilen yeniden oluşturma hatasıdır. Bu hata son durumda takip sonucu olarak seçilen hedef aday şablonunun hedef şablon kümesine olan benzerliği hakkında bilgi içermektedir. ER, l1 minimizasyonuyla elde edilen önemsiz şablon katsayılarının hedef şablon katsayılarına göre baskınlık oranı hakkında bilgi verir. Bu baskınlığın büyüklüğü son durumda seçilen takip sonucunda hedef nesnenin örtülmesi, duruşunun değişmesi gibi olayların mevcudiyeti ile ilgili ipucu içermektedir. Pl1, l1 minimizasyonu sonucunda yakınsamanın ne kadar hızlı olduğuyla ilgili bilgi içeren model parametresidir. Mevcut video çerçevesinde l1 minimizasyonuyla yakınsama yapıldıktan sonra model parametreleri kullanılarak hedef nesneden ıraksama olduğunu gösteren bir anormallik gözlenmezse takip işlemi kesintiye uğratılmadan mevcut hedef şablonu kullanılarak devam ettirilir. Diğer yandan model parametreleri sayesinde nesne takip sistemi bir anormallik tespit ettiği anda nesne tespit edicisinden hedef nesnenin pozisyon bilgileri beklenir. Bu çalışmada geliştirilen modelde nesne tespit edicisi olarak derin öğrenme ağı kullanılmaktadır. Kullanılan“Faster R-CNN”derin öğrenme ağı üstün nesne konumlandırma özelliğiyle öne çıkmaktadır. Nesne takip edicisinden nesne tespit bilgisi geldikten sonra bu bilgiler kullanılarak yeni bir hedef şablon kümesi oluşturulur ve takip işlemine güncellenmiş hedef şablon kümesiyle devam edilir. Hedef şablon kümesi güncellemeli nesne takip sistemi, takip işlemine sürekli devam eden alışılagelmiş modellerden farklı olarak nesne takibini bırakabilme özelliği sayesinde nesne takip sisteminin takip edilen nesneden ıraksamasını engeller. Bu sayede hedef nesnenin görüntüden çıktığı veya örtülmeye maruz kaldığı video çerçevelerinde takip dayanıklılığı artar. Bunun yanında hedef şablon kümesinin hedef tespit edicisinden gelen bilgilerle güncellenmesi sayesinde nesne takip sistemi yüksek hızlı hareketlere karşı daha dayanıklı hale gelir, çünkü hedef şablon kümesi hedef nesnenin daha güncel bir görünümüyle tazelenir. Ayrıca yanlış alarmlar hedef şablon kümesinin gereksiz yere güncellenmesine ve hedef tespit edicisinden nesne tespit bilgisinin gelmeme riskinin artmasına sebep olabilir. Yanlış alarmların engellenmesi için hedef güncellemesinin doğru zamanda yapılması çok önemlidir. Önerilen izleme sisteminin etkinleştirilmesi için model parametreleri zamanda geçmişe doğru analiz edilmektedir. Bu sayede yanlış alarmların oluşması engellenebilmektedir. Hava aracından çekilmiş geniş alanlı videolar içeren bir veri seti olan VIVID ile yapılan deneylere göre nesne takip modellerinin performansları karşılaştırılmıştır. Ayrıca VIVID veri setine göre daha fazla sayıda video ve hedef nesne içeren UAV123 veri seti kullanılarak da önerilen modelin performansı en yeni takip sistemleriyle karşılaştırmalı olarak ölçülmüştür. Nesne takip performansının ölçümünde başarım oranı, hassasiyet oranı ve merkez piksel hatası gibi yaygın olarak kullanılan değerlendirme ölçütleri kullanılmıştır. Sayısal sonuçlara göre bu çalışmada derin öğrenme tabanlı tespit aracı ile birlikte önerilen hedef nesne takip sistemi hedef nesne takibinin doğruluğunda hedef güncellemesi yapılmayan konvansiyonel l1 minimizasyon nesne takip modeline karşılaştırıldığında bir performansta kayda değer yükseliş sağlamıştır. VIVID veri setindeki videolara göre referans l1 minimizasyonlu regülarizasyon tabanlı takip sistemi referans nesne dörtgeni ile takip sonucu nesne dörtgeni arasında en az %50'lik kesişmenin sağlanması koşuluyla tüm çerçevelerde sırasıyla yaklaşık %20, %40, %15, %10, %15 ve %50 oranında başarım sağlarken önerilen hedef şablon güncellemeli rügülarizasyon tabanlı takip sistemi %40, %80, %30, %60, %75 ve %80 oranlarında başarım göstererek ne kadar güçlü bir nesne takip sistemi olduğunu kanıtlamıştır. Aynı ölçüte göre tüm videoların ortalamasına baktığımızdaysa referans takip sisteminin %25'lik başarım oranına karşılık önerilen takip sistemi %60 oranında bir başarım sağlamaktadır. Bir WAMI veri seti olan VIVID veri setindeki zorluk düzeyini oldukça artıran nesne örtülmesi, duruş değişmesi, yüksek hız, düşük çözünürlüklü hedef nesne gibi etmenler de hesaba katıldığında başarımda bu ölçüde bir artı¸sın çok anlamlı olduğu aşikardır. Ek olarak insansız hava aracından çekilmiş görüntülerden oluşan UAV123 veri seti kullanılarak yapılan deneylerde de önerilen hedef güncellemeli nesne takip sistemini başarımı literatürdeki en yeni takip sistemleriyle karşılaştırılmıştır. Aynı veri setinde bu sonuçlara göre önerilen nesne takip sistemi referans takip sistemine göre başarımı oldukça artırırken en yeni nesne takip sistemlerinin arasından da en iyi sonuçları vererek sıyrılmıştır.

Özet (Çeviri)

Recently, the field of object tracking is drawing increasingly more attraction of numerous researchers around the world. Object tracking is the process of estimating location of an object or multiple objects over a video sequence elapsing for an amount of time. The task of object tracking accompanied with some challenging problems such as occlusion, illumination change, high motion, pose and scale variations becomes even more challenging when wide area aerial video sequences are the case. This is because the target object shot at a long distance by an aerial vehicle is represented with a few pixels. The increasing need and demand for video surveillance using wide area aerial video sequences, for instance for traffic monitoring, security and surveillance or environmental analysis necessitates dealing with these problems. In the context of this thesis, the problem of object tracking in wide area aerial video is handled by developing a method that utilizes a target update scheme. The proposed model is based on regularization via sparsity-based conditional density propagation. The regularization task is carried out through sparse representation of the possible target candidates and approximating the best target candidate with minimal reconstruction error recursively with respect of the philosophy of conditional density propagation, particle filtering. The target candidates are propagated through the frames via estimated affine transformation parameters that constitute the state vector. The use of the particle filtering via sparse target representations already exists in the literature. In these methods, the approximation of the best target candidate is achieved by representation of each target candidate in the linear span of a fixed or slowly-updating target template set plus a trivial template set and selecting the target candidate with the smallest reconstruction error as the tracking result after deriving the template coefficients through l1 minimization. The process is recursively repeated in the upcoming frames. Our major contribution to this system is the integration of a monitoring system that allows the tracker to automatically perceive anomalies thus update the observation model. Specifically, this is achieved by monitoring the tracking dependent on the model parameters that include minimum reconstruction error after approximation of the target candidates in the current frame, the magnitude of domination of the coefficients of trivial templates over the coefficients of target templates approximated through l1 minimization and the number of particles used in l1 minimization. Subsequent to the approximation via l1 minimization in the current frame, if an anomaly implying divergence from the target object is not detected, the tracking task keeps on moving using the current target template set without an interruption. Whenever an anomaly is reported by the tracker, a detection of target object is expected to be received from the object detector, which is a deep learning network in our model. In our work, because of its excellent object localization capability, Faster R-CNN is employed as the object detector. Once an object detection information is received, a new target template set is generated and the tracking task is resumed with the updated target template set. Unlike the existing models which continuously track, the capability of quiting tracking avoids the tracker from diverging that increase the robustness to occlusion where the target object extrudes from scene. Also, the update of the target template set upon a detection information from the detector makes the tracker more robust to high motion, because the target template set is refreshed with a more recent appearance of the target object. In order to avoid false alarms, the fulfillment of target update on time is vital. In order to achieve this, the proposed monitoring system is designed to be stimulated by analyzing the model parameters retrospectively over time. The experiments are performed using the datasets VIVID and UAV123 which include wide area aerial videos. Commonly used evaluation metrics including success rate, precision rate and center location error are used to report the object tracking performance. Numerical results demonstrate that the proposed target tracking scheme integrated with the object detector based on faster R-CNN significantly improves the accuracy, compared to the baseline l1 tracker and other state-of-the-art trackers.

Benzer Tezler

  1. Tez No

    398657

    Dört rotorlu insansız hava aracı ile sürekli uyarlamalı ortalama kayma algoritması kullanılarak hareketli nesne takibi

    Tracking of moving object using continuously adaptive mean shift algorithm with quadrotor unmanned air vehicle

    MUSAB COŞKUN

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    Elektrik ve Elektronik MühendisliğiFırat Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. SENCER ÜNAL

  2. Tez No

    232724

    Object tracking in stereo video frame sequences

    Stereo video karelerinde görüntü izleme

    SERKAN KEFEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2008

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. ABDÜL KADİR GÖRÜR

  3. Tez No

    291142

    Videoda hareketli nesne takip etme

    Moving object tracking in video files

    ÖZLEM MORKAYA

    Doktora

    Türkçe

    Türkçe

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA SERDAR KORUKOĞLU

  4. Tez No

    521693

    Multi-object tracking by associations on temporal window

    Geçici pencerede çağrışımlara dayalı çoklu nesne takibi

    GÜLTEKİN GÜNDÜZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. TANKUT ACARMAN

  5. Tez No

    184692

    Moving object detection, tracking and classification for smart video surveillance

    Akıllı video gözerimi için hareketli nesne bulma, takip etme ve sınıflandırma

    YİĞİTHAN DEDEOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2004

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    Y.DOÇ.DR. UĞUR GÜDÜKBOY

Geri Dön