Appearance-based cognition of objects pointed out by human hands
Robotlarda insanların elle işaret edilerek gösterilen nesnelerin görsel temelli bilişi
- Tez No: 690418
- Danışmanlar: PROF. DR. HURİYE IŞIL BOZMA AYDIN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 68
Özet
Bu tezde, bir robotun insanlarla onların nesneleri elle göstermeleri suretiyle etkileşime girerek, renk ve derinlik (RGB-D) verilerini kullanarak gösterilen nesneyi tanımaları veya öğrenmeleri konusunda çalışılmıştır. Bu problemin ilginç olmasının sebebi, tam güdümlü öğrenmeden farklı olarak görünüşlerin etiketlenmelerine gerek olmaması, ancak güdümsüz öğrenmede olduğu gibi de robotun nesnelere ait muhakemesinde tamamiyle tek başına olmaması nedeniyle nesne bilişinin daha insan-benzeri olabilmesidir. Önerilen yaklaşım üç ana aşamadan oluşmaktadır. İlk olarak, robot insanın işaret ettiği yönü belirlemeye çalışır. Bunun için robot evrişimsel sinir ağı temelli bir yaklaşımla RGB verisinden el ve insanın yerlerini ve şekillerini belirler. Ardından, bu bilgiyi derinlik verisiyle tümleştirerek ve yoğunluk bazlı bir bölütleme algoritması uygulanarak üç-boyutlu el bölütünü bulur. Bu bölütün geometrik özellikleri kullanılarak üç boyutlu işaret yönü hesaplanır. Değerlendirma amaçlı kıyaslama veri setlerinin olmaması nedeniyle, değişken robot-insan uzaklıkları ve geniş işaret yönü çeşitliliği içeren bir RGB-D veri seti hazırlanmıştır. İkinci aşamada, robot işaret edilen nesneyi belirler. Bunun için, aday nesnelere ait bölütler belirlenir ve aralarından en büyük hedef puanına sahip olan işaret edilen nesne olarak seçilir. Hedef puanı, işaret yönüne ve nesne konumlarına bağlı olarak hesaplanır. En son aşamada, bu nesnenin tanınması ve tanınamadığı durumda ise öğrenilmesi yapılır. Burada, sıradüzensel bir mimariye sahip nesneler belleği önemli bir rol oynar. Tanınamayan nesneler, bir denetimsiz öğrenme yöntemiyle yeni nesneler olarak bu belleğe eklenir. Bildiğimiz kadarıyla, önerilen yaklaşım robotun karar vermesinin tamamen otonom olduğu ilk uçtan uca sistemdir. Önerilen yaklaşım iki ana avantaja sahiptir: i) İnsan uzaklığı ve arka plan değişiminden bağımsız olarak geniş bir yelpazede robot-insan etkileşimi senaryolarında uygulanabilir olması; ii) Nesneler bilişinin insanın işaret ettiği nesneleri kapsayacak şekilde sürekli gelişebilme yetisine imkan sağlaması.
Özet (Çeviri)
In this thesis, human-guided appearance-based object cognition in robots is addressed. Here, the robot observes the human pointing to the object of interest based on the incoming RGB-D data and then either recognizes or learns this object as needed. This problem is of interest because the associated learning problem does not require objects and their labels to be provided externally as is the case with supervised learning or learned objects can be more human-intuitive since the robot is not completely on its own as is the case with unsupervised learning. We propose a complete end-to-end system consisting of three stages: First, the robot determines the pointing direction. For this, it first finds hands and humans in the incoming RGB image via exploiting a state-of-the-art CNN-based detector. Following, it finds the point cloud object corresponding to the hand segment through applying a density-based segmentation algorithm on the RGB-D data and then estimates the 3D pointing direction vector from the implicit geometry of the 3D hand segment. We also introduce a RGB-D data set with varied robot-human distances and pointing gesture directions - due to the unavailability of such a data set. In the second stage, the robot determines the targeted object based on the 3D pointing direction. For this, it determines a set of candidate point cloud objects and then selects the object that is most likely to be targeted. The final stage is either to recognize the target object or to learn it as necessary. In this, its objects' memory that is organized hierarchically plays a key role. In the latter case, the new object class is added to the memory using an unsupervised learning algorithm. To the best of our knowledge, the proposed system is the first end-to-end system in which the robot's reasoning is completely autonomous. The advantages of the proposed approach are as follows: i) Applicability in a wide-range of robot-human interactions regardless of human proximity and background variability; ii) Ability to continue learning new object classes through interaction with humans.
Benzer Tezler
- Sine-dram ve arki-dramın eleştirisi: Dziga Vertov ve Rem Koolhaas
The criticism of cine-drama and archi-drama: Dziga Vertov and Rem Koolhaas
MUSTAFA BATU KEPEKCİOĞLU
- Causalité chez Hume et chez Kant et ses effets sur leurs philosophies pratiques
Hume'a ve Kant'a göre nedensellik ve pratik felsefelerine etkileri
DENİZ NESİN GÜRKAN
Yüksek Lisans
Fransızca
2022
FelsefeGalatasaray ÜniversitesiFelsefe Ana Bilim Dalı
PROF. DR. ALİYE KOVANLIKAYA
- Endüstri ürünleri tasarımında insan-çevre-malzeme etkileşimi
Başlık çevirisi yok
MELEK GÜNDOĞDU
Yüksek Lisans
Türkçe
1996
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. EROL GÜRDAL
- Function and appearance-based emergence of object concepts through affordances
İşlev ve görünüm temelli nesne kavramlarının sağlarlıklar aracılığıyla oluşturulması
İLKAY ATIL
Yüksek Lisans
İngilizce
2010
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Bölümü
YRD. DOÇ. DR. EROL ŞAHİN
YRD. DOÇ. DR. SİNAN KALKAN
- Göstergebilim ışığında modernizm, postmodernizm ve bir örnek: Klassis
In the light of semiotics modernism, postmodernism and an example:Klassis
BÜLENT TANJU