Geri Dön

Multi-modal egocentric activity recognition through decision fusion

Karar tümleştirme yoluyla çok-kipli birinci şahıs hareket tanıma

PDF İndir

  1. Tez No: 777935
  2. Yazar: MEHMET ALİ ARABACI
  3. Danışmanlar: PROF. DR. ALPTEKİN TEMİZEL, DOÇ. DR. ELİF SÜRER
  4. Tez Türü: Doktora
  5. Konular: Mühendislik Bilimleri, Engineering Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Enformatik Enstitüsü
  11. Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 126

Özet

Sensör teknolojilerinin gelişmesiyle birlikte giyilebilir cihazların günlük hayattaki kullanımı hızla artmıştır. Giyilebilir cihazlardaki en yaygın bilgi birinci şahıs görüsü olarak adlandırılan ve optik sensörler ile elde edilmiş birinci şahıs perspektife sahip videolardır. Birinci şahıs videolar büyük miktarda birinci şahıs hareketi içermeleri ve sahnelerdeki hızlı değişimler nedeniyle üçüncü şahıs videolarından farklı özelliklere sahiptir. Kameranın olaylardan ve aktörlerden uzak olduğu üçüncü şahıs videolarına göre tasarlanmış görsel tabanlı yöntemler birinci şahıs videolarına doğrudan uygulanamamaktadır. Bu nedenle, birinci şahıs videolarını analiz edebilen ve tanımlanan görevler için çeşitli sensörlerden gelen verileri doğru şekilde birleştirebilen yeni yaklaşımlara ihtiyaç duyulmaktadır. Bu tezde, birinci şahıs hareket tanıma problemi için çok-kipli karar tümleştirme kullanan iki yeni çatı önerilmiştir. Bunlardan ilki, üretilen öznitelikleri Çoklu Kernel Öğrenmesi ile birleştirmektedir. Diğer çatı ise derin öznitelikleri iki aşamalı karar tümleştirme mekanizması ile kullanmıştır. Gerçekleştirilen deneyler, görsel, işitsel ve diğer giyilebilir sensör bilgilerinin birleştirilmesinin birinci şahıs hareket tanıma performansını arttırdığını ortaya çıkarmıştır. Ek olarak, önerilen çatılar ile farklı kiplerden çıkarılan çok sayıda öznitelik test edilmiştir. Son olarak, 30 farklı birinci şahıs hareketi ve 1392 video kayıt parçası içeren Egocentric Outdoor Activity Dataset (EOAD) isimli yeni bir birinci şahıs hareket veri seti oluşturulmuştur.

Özet (Çeviri)

The usage of wearable devices has rapidly grown in daily life with the development of sensor technologies. The most prominent information for wearable devices is collected from optics which produces videos from an egocentric perspective, called First Person Vision (FPV). FPV has different characteristics from third-person videos because of the large amounts of ego-motions and rapid changes in scenes. Vision-based methods designed for third-person videos where the camera is away from events and actors, cannot be directly applied to egocentric videos. Therefore, new approaches, which are capable of analyzing egocentric videos and accurately fusing inputs from various sensors for specified tasks, should be proposed. In this thesis, we proposed two novel multi-modal decision fusion frameworks for egocentric activity recognition. The first framework combines hand-crafted features using Multi-Kernel Learning. The other framework utilizes deep features using a two-stage decision fusion mechanism. The experiments revealed that combining multiple modalities, such as visual, audio, and other wearable sensors, increased activity recognition performance. In addition, numerous features extracted from different modalities were evaluated within the proposed frameworks. Lastly, a new egocentric activity dataset, named Egocentric Outdoor Activity Dataset (EOAD), was populated, containing 30 different egocentric activities and 1392 video clips.

Benzer Tezler

  1. Tez No

    912885

    Beyond the screen: Impact of gaming experience 3d spatial visualization skills and navigational strategies

    Ekranın ötesinde: Oyun deneyiminin 3 boyutlu mekansal görselleştirme becerileri ve navigasyon stratejileri üzerindeki etkisi

    EMİNE ZEYREK

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    PsikolojiOrta Doğu Teknik Üniversitesi

    Psikoloji Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DİLAY ZEYNEP KARADÖLLER ASTARLIOĞLU

  2. Tez No

    822151

    Görme yetersizliği olan ortaokul öğrencileri için çevre sorunlarına yönelik bir öğretim programının geliştirilmesi ve değerlendirilmesi

    Development and evaluation of a curriculum of environmental issues for secondary school students with visual impairment

    MAŞİDE GÜLER

    Doktora

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimTrabzon Üniversitesi

    Matematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı

    DOÇ. DR. MUSTAFA ÜREY

  3. Tez No

    216045

    Merkezi çaprazlı ve dış merkez çaprazlı çok katlı çelik yapıların doğrusal olmayan davranışında sünekli düzeylerinin karşılaştırılması

    The comparison of ductility levels of concentric and eccentric braced multi storey steel buildings due to the non-linear behavior

    MİTHAT BORA BULUT

    Yüksek Lisans

    Türkçe

    Türkçe

    2008

    İnşaat MühendisliğiSakarya Üniversitesi

    İnşaat Mühendisliği Bölümü

    DOÇ. DR. AHMET NECATİ YELGİN

  4. Tez No

    346535

    Çok fazlı akışlarda parçacık hız ve yön tahmini için hesaplamalı zekâ modelleri

    Computational intelligence models for particle direction and velocity estimation in multi-phase flows

    HATİCE TOMBUL

    Yüksek Lisans

    Türkçe

    Türkçe

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    YRD. DOÇ. AHMET MURAT ÖZBAYOĞLU

  5. Tez No

    559986

    Çok katlı bir çelik yapının Türkiye Bina Deprem Yönetmeliği-2018'e göre tasarımı

    Design of a multi-storey steel Structure According to Turkey building earthquake code-2018

    BURAK TÜTÜNCÜ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    İnşaat Mühendisliğiİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. GÜLİZ BAYRAMOĞLU

Geri Dön