Multi-modal egocentric activity recognition through decision fusion
Karar tümleştirme yoluyla çok-kipli birinci şahıs hareket tanıma
- Tez No: 777935
- Danışmanlar: PROF. DR. ALPTEKİN TEMİZEL, DOÇ. DR. ELİF SÜRER
- Tez Türü: Doktora
- Konular: Mühendislik Bilimleri, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 126
Özet
Sensör teknolojilerinin gelişmesiyle birlikte giyilebilir cihazların günlük hayattaki kullanımı hızla artmıştır. Giyilebilir cihazlardaki en yaygın bilgi birinci şahıs görüsü olarak adlandırılan ve optik sensörler ile elde edilmiş birinci şahıs perspektife sahip videolardır. Birinci şahıs videolar büyük miktarda birinci şahıs hareketi içermeleri ve sahnelerdeki hızlı değişimler nedeniyle üçüncü şahıs videolarından farklı özelliklere sahiptir. Kameranın olaylardan ve aktörlerden uzak olduğu üçüncü şahıs videolarına göre tasarlanmış görsel tabanlı yöntemler birinci şahıs videolarına doğrudan uygulanamamaktadır. Bu nedenle, birinci şahıs videolarını analiz edebilen ve tanımlanan görevler için çeşitli sensörlerden gelen verileri doğru şekilde birleştirebilen yeni yaklaşımlara ihtiyaç duyulmaktadır. Bu tezde, birinci şahıs hareket tanıma problemi için çok-kipli karar tümleştirme kullanan iki yeni çatı önerilmiştir. Bunlardan ilki, üretilen öznitelikleri Çoklu Kernel Öğrenmesi ile birleştirmektedir. Diğer çatı ise derin öznitelikleri iki aşamalı karar tümleştirme mekanizması ile kullanmıştır. Gerçekleştirilen deneyler, görsel, işitsel ve diğer giyilebilir sensör bilgilerinin birleştirilmesinin birinci şahıs hareket tanıma performansını arttırdığını ortaya çıkarmıştır. Ek olarak, önerilen çatılar ile farklı kiplerden çıkarılan çok sayıda öznitelik test edilmiştir. Son olarak, 30 farklı birinci şahıs hareketi ve 1392 video kayıt parçası içeren Egocentric Outdoor Activity Dataset (EOAD) isimli yeni bir birinci şahıs hareket veri seti oluşturulmuştur.
Özet (Çeviri)
The usage of wearable devices has rapidly grown in daily life with the development of sensor technologies. The most prominent information for wearable devices is collected from optics which produces videos from an egocentric perspective, called First Person Vision (FPV). FPV has different characteristics from third-person videos because of the large amounts of ego-motions and rapid changes in scenes. Vision-based methods designed for third-person videos where the camera is away from events and actors, cannot be directly applied to egocentric videos. Therefore, new approaches, which are capable of analyzing egocentric videos and accurately fusing inputs from various sensors for specified tasks, should be proposed. In this thesis, we proposed two novel multi-modal decision fusion frameworks for egocentric activity recognition. The first framework combines hand-crafted features using Multi-Kernel Learning. The other framework utilizes deep features using a two-stage decision fusion mechanism. The experiments revealed that combining multiple modalities, such as visual, audio, and other wearable sensors, increased activity recognition performance. In addition, numerous features extracted from different modalities were evaluated within the proposed frameworks. Lastly, a new egocentric activity dataset, named Egocentric Outdoor Activity Dataset (EOAD), was populated, containing 30 different egocentric activities and 1392 video clips.
Benzer Tezler
- Beyond the screen: Impact of gaming experience 3d spatial visualization skills and navigational strategies
Ekranın ötesinde: Oyun deneyiminin 3 boyutlu mekansal görselleştirme becerileri ve navigasyon stratejileri üzerindeki etkisi
EMİNE ZEYREK
Yüksek Lisans
İngilizce
2024
PsikolojiOrta Doğu Teknik ÜniversitesiPsikoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DİLAY ZEYNEP KARADÖLLER ASTARLIOĞLU
- Görme yetersizliği olan ortaokul öğrencileri için çevre sorunlarına yönelik bir öğretim programının geliştirilmesi ve değerlendirilmesi
Development and evaluation of a curriculum of environmental issues for secondary school students with visual impairment
MAŞİDE GÜLER
Doktora
Türkçe
2023
Eğitim ve ÖğretimTrabzon ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
DOÇ. DR. MUSTAFA ÜREY
- Merkezi çaprazlı ve dış merkez çaprazlı çok katlı çelik yapıların doğrusal olmayan davranışında sünekli düzeylerinin karşılaştırılması
The comparison of ductility levels of concentric and eccentric braced multi storey steel buildings due to the non-linear behavior
MİTHAT BORA BULUT
Yüksek Lisans
Türkçe
2008
İnşaat MühendisliğiSakarya Üniversitesiİnşaat Mühendisliği Bölümü
DOÇ. DR. AHMET NECATİ YELGİN
- Çok fazlı akışlarda parçacık hız ve yön tahmini için hesaplamalı zekâ modelleri
Computational intelligence models for particle direction and velocity estimation in multi-phase flows
HATİCE TOMBUL
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Bölümü
YRD. DOÇ. AHMET MURAT ÖZBAYOĞLU
- Çok katlı bir çelik yapının Türkiye Bina Deprem Yönetmeliği-2018'e göre tasarımı
Design of a multi-storey steel Structure According to Turkey building earthquake code-2018
BURAK TÜTÜNCÜ
Yüksek Lisans
Türkçe
2019
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. GÜLİZ BAYRAMOĞLU