Geri Dön

Multiple view human activity recognition

Çoklu görüntü kullanarak insan hareketi tanıma

  1. Tez No: 312874
  2. Yazar: SELEN PEHLİVAN
  3. Danışmanlar: YRD. DOÇ. DR. PINAR DUYGULU, PROF. DR. DAVİD FORSYTH
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2012
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 119

Özet

Bu tez insan hareketlerinin birden çok kamera görüntüsü ile tanınması üzerine yapılan çalışmaları içermektedir. Bu çalışmalarda iki farklı yöntem önerilmiştir. Birinci yöntemde kalibre edilmiş kameralardan elde edilen hacimleri eşleştiren bir sistem, ikinci yöntemde ise görüntü karelerini eşleştiren esnek bir sistem önerilmiştir. Kullandığımız iki farklı yöntemde elde ettiğimiz sonuçlar, tek kamera görüntüleri ile yapılan çalışmalarda elde edilen sonuçlarla karşılaştırılarak, farklılıkları ve performansları incelenmiştir.Tezin ilk bölümü geri çatılım yöntemi ile elde edilen hacimsel veriler için yoğun betimleyiciler önerir. Kameralar tarafından kaydedilen görüntü kareleri geri çatılım yöntemi ile birleştirilir ve elde edilen hacimler hareket pozlarının eşleniği olarak kabul edilir. Bu çalışmalarda üç boyutlu verilerin üzerinden hızlı ve ayırt edici özelliklere sahip yeni poz betimleyicileri önerilmiştir. Bu betimleyicilerden ilki farklı doğrultuda ve boyuttaki silindirlerin histogramıdır. Önerilen bir diğer poz tanımlayıcısı ise bakış açısından bağımsızdır yani poz hizalamasına ihtiyaç duymamaktadır. Poz tanımlayıcılarının önemi hareket tanımlama kısımları sade tutulan düzeneklerde gösterilmiştir. Sunulan hacim eşlenmesine dayalı hareket tanımlama literatüre göre başarılı sonuçlar ortaya çıkarmıştır.Birden çok kamera verisinin işlenmesi ve ayıklanmasında hacim geri çatılım metodu seçilen en doğal yöntem olmuştur. Ancak birbiriyle örtüşen mevcut görüntüler yeterli sayıda olmayabilir. Tezin ikinci bölümünde farklı sayıda kamera ve öznitelikle çalışabilen bir hareket tanıma sistemi önerilmektedir. Bu sistem kamera görüntülerindeki hareket bulgularını oylama tekniği ile bulmaktadır ve kameraların kalibre edilmesine gerek duyulmamaktadır. Sistemin performansı kamera ve öznitelik sayısıyla orantılı olarak artmaktadır. Eğitim ve sınama için kullanılan kamera görüntülerinin örtüşmesine gerek yoktur. Sisteme herhangi bir anda bir kameranın girişi ve çıkışı kolayca çözümlenmektedir. İnsan hareketi tanımlanmasında birden çok kameranın kullanılmasının, tek kamera kullanılmasına oranla avantajları deneylerle desteklenmiştir.

Özet (Çeviri)

This thesis explores the human activity recognition problem when multiple views are available. We follow two main directions: we first present a system that performs volume matching using constructed 3D volumes from calibrated cameras, then we present a flexible system based on frame matching directly using multiple views. We examine the multiple view systems compared to single view systems, and measure the performance improvements in recognition using more views by various experiments.Initial part of the thesis introduces compact representations for volumetric data gained through reconstruction. The video frames recorded by many cameras with significant overlap are fused by reconstruction, and the reconstructed volumes are used as substitutes of action poses. We propose new pose descriptors over these three dimensional volumes. Our first descriptor is based on the histogram of oriented cylinders in various sizes and orientations. We then propose another descriptor which is view-independent, and which does not require pose alignment. We show the importance of discriminative pose representations within simpler activity classification schemes. Activity recognition framework based on volume matching presents promising results compared to the state-of-the-art.Volume reconstruction is one natural approach for multi camera data fusion, but there can be few cameras with overlapping views. In the second part of the thesis, we introduce an architecture that is adaptable to various number of cameras and features. The system collects and fuses activity judgments from cameras using a voting scheme. The architecture requires no camera calibration. Performance generally improves when there are more cameras and more features; training and test cameras do not need to overlap; camera drop in or drop out is handled easily with little penalty. Experiments support the performance penalties, and advantages for using multiple views versus single view.

Benzer Tezler

  1. Kuşaklar bağlamında iş değerleri ve işe adanmışlık ilişkisi: Havacılık sektörü çalışanları üzerine bir araştırma

    The relationship between work values and work engagement in the context of generations: A study on aviation sector employees

    KADİR AYDOĞAN

    Doktora

    Türkçe

    Türkçe

    2024

    İşletmeMuğla Sıtkı Koçman Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. UMUT AVCI

  2. Urban dynamics of İstanbul: Exploring urban complexity via the spatial distribution of activities

    İstanbul'un kentsel dinamikleri: Faaliyetlerin mekansal dağılımı aracılığıyla kentsel karmaşıklığın keşfi

    REYHANEH YOUNESI SANDI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Şehircilik ve Bölge Planlamaİstanbul Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    DOÇ. DR. EDA YÜCESOY

  3. Akıllı bina üretim sürecinde proje temin yaklaşımlarının incelenmesi

    Başlık çevirisi yok

    BEYZA ÖZER

    Yüksek Lisans

    Türkçe

    Türkçe

    1996

    Mimarlıkİstanbul Teknik Üniversitesi

    Y.DOÇ.DR. ALAATTİN KANOĞLU

  4. Yaşamsal gündelik nesnelerin sanat bağlamında metaforu üzerine

    The metaphors of daily vital objects in the artistic contex

    BENAL DİKMEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2004

    Güzel SanatlarMimar Sinan Güzel Sanatlar Üniversitesi

    Resim Ana Sanat Dalı

    YRD. DOÇ. GÜLÇİN ÖZDEMİR

  5. Perception of built environments and its neural modulation by the behavioral goals of the perceiver

    Yapılı çevrelerin algısı ve bunun gözlemcinin davranışsal amaçları doğrultusunda nöral modülasyonu

    AYSU NUR KOÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Psikolojiİhsan Doğramacı Bilkent Üniversitesi

    Nörobilim Ana Bilim Dalı

    DOÇ. YASEMİN AFACAN

    DR. ÖĞR. ÜYESİ BURCU AYŞEN ÜRGEN