Geri Dön

Appearance-based cognition of objects pointed out by human hands

Robotlarda insanların elle işaret edilerek gösterilen nesnelerin görsel temelli bilişi

  1. Tez No: 690418
  2. Yazar: MİRHAN ÜRKMEZ
  3. Danışmanlar: PROF. DR. HURİYE IŞIL BOZMA AYDIN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 68

Özet

Bu tezde, bir robotun insanlarla onların nesneleri elle göstermeleri suretiyle etkileşime girerek, renk ve derinlik (RGB-D) verilerini kullanarak gösterilen nesneyi tanımaları veya öğrenmeleri konusunda çalışılmıştır. Bu problemin ilginç olmasının sebebi, tam güdümlü öğrenmeden farklı olarak görünüşlerin etiketlenmelerine gerek olmaması, ancak güdümsüz öğrenmede olduğu gibi de robotun nesnelere ait muhakemesinde tamamiyle tek başına olmaması nedeniyle nesne bilişinin daha insan-benzeri olabilmesidir. Önerilen yaklaşım üç ana aşamadan oluşmaktadır. İlk olarak, robot insanın işaret ettiği yönü belirlemeye çalışır. Bunun için robot evrişimsel sinir ağı temelli bir yaklaşımla RGB verisinden el ve insanın yerlerini ve şekillerini belirler. Ardından, bu bilgiyi derinlik verisiyle tümleştirerek ve yoğunluk bazlı bir bölütleme algoritması uygulanarak üç-boyutlu el bölütünü bulur. Bu bölütün geometrik özellikleri kullanılarak üç boyutlu işaret yönü hesaplanır. Değerlendirma amaçlı kıyaslama veri setlerinin olmaması nedeniyle, değişken robot-insan uzaklıkları ve geniş işaret yönü çeşitliliği içeren bir RGB-D veri seti hazırlanmıştır. İkinci aşamada, robot işaret edilen nesneyi belirler. Bunun için, aday nesnelere ait bölütler belirlenir ve aralarından en büyük hedef puanına sahip olan işaret edilen nesne olarak seçilir. Hedef puanı, işaret yönüne ve nesne konumlarına bağlı olarak hesaplanır. En son aşamada, bu nesnenin tanınması ve tanınamadığı durumda ise öğrenilmesi yapılır. Burada, sıradüzensel bir mimariye sahip nesneler belleği önemli bir rol oynar. Tanınamayan nesneler, bir denetimsiz öğrenme yöntemiyle yeni nesneler olarak bu belleğe eklenir. Bildiğimiz kadarıyla, önerilen yaklaşım robotun karar vermesinin tamamen otonom olduğu ilk uçtan uca sistemdir. Önerilen yaklaşım iki ana avantaja sahiptir: i) İnsan uzaklığı ve arka plan değişiminden bağımsız olarak geniş bir yelpazede robot-insan etkileşimi senaryolarında uygulanabilir olması; ii) Nesneler bilişinin insanın işaret ettiği nesneleri kapsayacak şekilde sürekli gelişebilme yetisine imkan sağlaması.

Özet (Çeviri)

In this thesis, human-guided appearance-based object cognition in robots is addressed. Here, the robot observes the human pointing to the object of interest based on the incoming RGB-D data and then either recognizes or learns this object as needed. This problem is of interest because the associated learning problem does not require objects and their labels to be provided externally as is the case with supervised learning or learned objects can be more human-intuitive since the robot is not completely on its own as is the case with unsupervised learning. We propose a complete end-to-end system consisting of three stages: First, the robot determines the pointing direction. For this, it first finds hands and humans in the incoming RGB image via exploiting a state-of-the-art CNN-based detector. Following, it finds the point cloud object corresponding to the hand segment through applying a density-based segmentation algorithm on the RGB-D data and then estimates the 3D pointing direction vector from the implicit geometry of the 3D hand segment. We also introduce a RGB-D data set with varied robot-human distances and pointing gesture directions - due to the unavailability of such a data set. In the second stage, the robot determines the targeted object based on the 3D pointing direction. For this, it determines a set of candidate point cloud objects and then selects the object that is most likely to be targeted. The final stage is either to recognize the target object or to learn it as necessary. In this, its objects' memory that is organized hierarchically plays a key role. In the latter case, the new object class is added to the memory using an unsupervised learning algorithm. To the best of our knowledge, the proposed system is the first end-to-end system in which the robot's reasoning is completely autonomous. The advantages of the proposed approach are as follows: i) Applicability in a wide-range of robot-human interactions regardless of human proximity and background variability; ii) Ability to continue learning new object classes through interaction with humans.

Benzer Tezler

  1. Sine-dram ve arki-dramın eleştirisi: Dziga Vertov ve Rem Koolhaas

    The criticism of cine-drama and archi-drama: Dziga Vertov and Rem Koolhaas

    MUSTAFA BATU KEPEKCİOĞLU

    Doktora

    Türkçe

    Türkçe

    2018

    Felsefeİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. FUNDA UZ

  2. Causalité chez Hume et chez Kant et ses effets sur leurs philosophies pratiques

    Hume'a ve Kant'a göre nedensellik ve pratik felsefelerine etkileri

    DENİZ NESİN GÜRKAN

    Yüksek Lisans

    Fransızca

    Fransızca

    2022

    FelsefeGalatasaray Üniversitesi

    Felsefe Ana Bilim Dalı

    PROF. DR. ALİYE KOVANLIKAYA

  3. Function and appearance-based emergence of object concepts through affordances

    İşlev ve görünüm temelli nesne kavramlarının sağlarlıklar aracılığıyla oluşturulması

    İLKAY ATIL

    Yüksek Lisans

    İngilizce

    İngilizce

    2010

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    YRD. DOÇ. DR. EROL ŞAHİN

    YRD. DOÇ. DR. SİNAN KALKAN

  4. Göstergebilim ışığında modernizm, postmodernizm ve bir örnek: Klassis

    In the light of semiotics modernism, postmodernism and an example:Klassis

    BÜLENT TANJU

    Yüksek Lisans

    Türkçe

    Türkçe

    1991

    Mimarlıkİstanbul Teknik Üniversitesi

    PROF.DR. FİLİZ ÖZER