Semantic scene analysis through visual exploration and learning
Anlamsal sahnenin görsel keşif ve öğrenme yoluyla analizi
- Tez No: 605399
- Danışmanlar: PROF. DR. HURİYE IŞIL BOZMA AYDIN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 81
Özet
Bu tezde, robot üzerindeki yatay dikey açı hareketli kamera kullanılar sahnenin nesne haritasını oluşturulması ve kullanımı incelenmiştir. Oluşturulan nesne haritası sahneyi anlamsal olarak analiz edebilmek için önemlidir; ancak, bu problemin çözümü için birçok sorununda değerlendirilmesi gerekmektedir. Nesne tespiti, sahnenin keşfi, nesnelerin tanınması, sahne haritasının oluşturulması ve doğrulanması değerlendirilmesi gereken sorunlardır. Bu çalışmada robotun kendi kendine nesne haritalarını oluşturabileceği şekilde her bir problem için bir dizi yaklaşım ileri sürlmüştür. İlk olarak, nesne tespiti ve sahne keşfinin eş zamanlı yapılabildiği bir yöntem önerilmiştir. Bu yönteme göre robot keşfettiği nesnelere göre kafa hareketlerini kontrol edip etrafına bakmaktadır. Bu esnasında da bölütlerin uzay-zamansal takibini yaparak, tutarlı bölütleri nesne adayı olarak belirlenmektedir. Ayrıca, bu tespit edilen nesne adaylarının öğrenilmesi ve tanınması için bir yöntem daha önerilmiştir. Bu yöntem iki ana kısımdan oluşmaktadır. Bunlardan ilki robotun gelişen uzun süreli nesne kategori hafızasıdır. Bu kısımda öğrenilen nesne kategorileri en alt düğümde bulunacak şekilde hiyerarşik bir yapı oluşturulur. İkinci kısımda ise robot tanıyamadığı nesneleri kısa süreli hafızasında biriktirir. Belli bir miktara kadar biriktiğinde yeni kategoriler oluşturulup uzun süreli hafıza güncellenir. Son olarak nesnelerin yatay-dikey açı pozisyonları ve kategorilerine göre robot merkezli nesne haritası oluşturulmaktadır. Robotun bir sahneyi tekrar ziyaret etmesi durumunda hafızadan gelen ve oluşturduğu sahne karşılaştırılarak doğrulama yöntemi sunulmuştur. Her bir yaklaşım deneyler yapılmış ve ayrıntılı olarak değerlendirilmiştir.
Özet (Çeviri)
This thesis is concerned with the construction of objects' maps and their usage by a mobile robot endowed with a RGB pan-tilt camera. Such a representation is an important part of semantic scene analysis. However, it is a challenging task as the robot needs to be capable of object detection, scene exploration, object recognition and objects' mapping. We propose a series of approaches that address these problems so that the robot can construct an objects' map completely on its own. First, a novel approach that enables the robot to achieve both object detection and scene exploration simultaneously is proposed. In this approach, camera movements are guided by the so-far discovered object candidates. In parallel, the robot generates object candidates by tracking segments and determining spatio-temporally coherent ones. Following, an approach in which the generated object candidates are used in learning and recognition of object categories. In this approach, the robot has an evolving long-term object categories memory where the knowledge of learned object categories is organized in a hierarchical structure with each terminal node corresponding to an object category. The robot evolves its long-term object categories memory on its own through accumulating the unrecognized object candidates in its working object candidates memory. It waits for its working object candidates memory to fill up and then determines the new object categories which are then added to its long-term object categories memory. As such, the robot is able to construct an egocentric map of objects around it. In the case of revisiting a scene, a validation method that is based on comparing the objects' map of the current scene with those previously constructed is presented. All the proposed approaches are experimentally evaluated using visual data obtained from a mobile robot.
Benzer Tezler
- Multimedia data modeling and semantic analysis by multimodal decision fusion
Çoklu karar füzyonu ile medya veri modelleme ve anlamsal bölümleme
MENNAN GÜDER
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. FEHİME NİHAN ÇİÇEKLİ
- Göstergebilimsel yaklaşımla sinemasal mekân analizi: Otellerde geçen filmler üzerinden mekânsal ve anlamsal çözümlemeler
Semiotic analysis in cinematic interiors: Spatial and semantic readings of hotel plot movies
CANSU KÖKSAL
Yüksek Lisans
Türkçe
2015
Sahne ve Görüntü Sanatlarıİstanbul Teknik Üniversitesiİç Mimari Tasarım Ana Bilim Dalı
DOÇ. DR. EMİNE GÖRGÜL
- Sinemada bakış: Sinemasal anlatı yapılarında bakma eylemi
The look in the cinema: The act of look in cinematic narrative structures
MEHMET CANSIZ
Yüksek Lisans
Türkçe
2022
Radyo-TelevizyonErciyes ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
DOÇ. DR. BURAK MEDİN
- A scenario-based query processing framework for video surveillance
Gözetim videoları için senaryo tabanlı sorgulama çatısı
EDİZ ŞAYKOL
Doktora
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Bölümü
DOÇ. DR. UĞUR GÜDÜKBAY
- Computational aesthetics using machine learning for video game camera direction
Video oyunu kamera yönetimi için makine ögrenmesi ile hesaplamalı estetik
ALİ NACİ ERDEM
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiModelleme ve Simülasyon Ana Bilim Dalı
PROF. DR. UĞUR HALICI