Geri Dön

Accurate 3D tracking using visual and depth data

Görsel ve derinlik verileri kullanılarak hassas 3B takip

PDF İndir

  1. Tez No: 383272
  2. Yazar: OSMAN SERDAR GEDİK
  3. Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2014
  8. Dil: İngilizce
  9. Üniversite: Orta Doğu Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 174

Özet

Nesnelerin 3B takibi, robotik ve arttırılmış gerçeklik (AG) gibi bir çok uygulama için kritik öneme sahip olmakla birlikte, yüksek hassasiyette poz kestirimleri, robotik uygulamalarda güvenilirliği artırırken, AG uygulamalarında ise titreşimi azaltmaktadır. Son zamanlarda almaç teknolojisindeki gelişmeler yüksek kare hızına sahip senkron KYM ve derinlik verisi yakalamayı mümkün kılmıştır. Bu motivasyon ile, görsel ve derinlik almaçlarının eş zamanlı kullanımına dayanan ve yüksek performansa sahip otomatik bir 3B takip algoritması sunulmuştur. Derinlik verisi hem ham hem de, yapısal detayları öne çıkardığı ve her iki tip verinin bir arada kullanılmasına olanak sağladığı gözlemlendikten sonra, Şekil İndis Haritası (ŞİH) formunda kullanılmıştır. Uygulama alanını kısıtlayabilecek çevrimdışı elde edilmiş Bilgisayar Destekli Tasarım modellerine olan ihtiyacın elimine edilmesi amacıyla, nesne modeli olarak ilk anda elde edilen renkli nokta kümesi kullanılmıştır. Tipik bir 3B takip algoritması şu bloklardan oluşmaktadır: Öznitelik seçimi, ardışık kareler arasında öznitelik eşleştirilmesi ve eşlenen öznitelikler kullanılarak 3B poz kestirimi. Amaç kullanıcı tarafından seçilen herhangi bir nesnenin hassas 3B takibi olduğundan, daha fazla hassasiyet ve gürbüzlük için, sürecin her adımında her iki almaç verisi de kullanılmaktadır. Bu amaçla ilk olarak, yüksek dokusal ve uzamsal köşelik özelliklerine sahip öznitelikleri saptayan yeni bir öznitelik seçim yöntemi önerilmiştir. Yöntemde, noktaların uzamsal dağılımını arttırmak amacıyla, ilgi alanı düzgün kafeslere bölünür. Her kafes içerisinden, parlaklık ve ŞİH verileri kullanılarak, maksimum dokusal ve uzamsal köşeliğe sahip öznitelik seçilir. Uzamsal/dokusal kısıtların bir arada kullanılması daha ayırt edici özniteliklerin seçilmesini sağlarken, kafes-temelli yaklaşım poz kestirimleri üzerindeki yanlılığı azaltmaktadır. Sonrasında, seçilen öznitelikler ardışık kareler arasında, 3B takip performansını arttırmak amacıyla, her özniteliği parlaklık ve ŞİH verisi kullanarak bağımsız ve eş zamanlı olarak takip eden yeni bir öznitelik takip yöntemi ile eşleştirilir. Yöntem, nihai öznitelik eşleştirmesine, takipçilerin gerçek zamanlı olarak kestirilen güvenilirliklerini kullanarak karar verir. Bu paralel yöntemin almaç gürültüsüne ve takipçi kusurlarına karşı gürbüzlüğü arttırdığı gözlemlenmiştir. Son olarak, tayin edilen özniteliklere ait KYM ve derinlik ölçümleri ünlü İlerletilmiş Kalman Filtresi (İKF) ile kaynaştırılır. Bu sistemde, Kalman kazanç terimini değiştirerek yüksek kaliteye sahip öznitelikleri destekleyen ve ölçüm hatalarına karşı gürbüzlük sağlayan yeni bir ölçüm ağırlıklandırma yöntemi önerilmiştir. Bu yöntem, bilgisayarla görü ve Bayes filtreleme disiplinleri arasında bir bağlantı kurarak, önceden tanımlanan almaç parametrelerine ve özdeş ölçüm hataları varsayımına olan bağımlılığı ortadan kaldırmaktadır. Önerilen her alt-sistem tarafından 3B takip hassasiyetinde sağlanan artış deneysel sonuçlarla gösterilmiştir. Ayrıca, önerilen 3B takip yönteminin performansı literatürdeki bir çok bilinen yöntemle karşılaştırılmış ve performans üstünlüğü gözlemlenmiştir. Son olarak, yöntemle elde edilen poz kestirimleri renkli nokta kümelerini birleştirerek 3B harita elde etmek amacıyla kullanılmıştır. Herhangi bir döngü kapatım veya art-işlem yöntemi kullanılmamasına rağmen, ciddi sayıda nokta kümesinin yüksek hassasiyetle birleştirildiği gözlemlenmiştir.

Özet (Çeviri)

3D tracking of objects is essential in many applications, such as robotics and augmented reality (AR), and availability of accurate pose estimates increases reliability in robotic applications whereas decreases jitter in AR scenarios. As a result of the recent advances in the sensor technology, it is possible to capture synchronous high frame rate RGB and depth data. With this motivation, an automated and high accurate 3D tracking algorithm based on simultaneous utilization of visual and depth sensors is presented. The depth sensor data is utilized both in raw format and in the form of Shape Index Map (SIM), after the observation that the latter transformation emphasizes structural details and provides a proper basis to jointly utilize both sensor data. As the object model, the initial object colored point cloud is utilized, which eliminates dependency on any offline generated Computer Aided Design (CAD) models that might limit the application areas. A typical 3D tracking algorithm composes of the following stages: Feature selection, feature association between consecutive frames and 3D pose estimation by the feature correspondences. Since the main aim is to perform highly accurate 3D tracking of any user selected object, data from both sensors is exploited in every stage of the process for improving accuracy, as well as robustness. First of all, a novel feature selection method, which localizes features with high textural and spatial cornerness properties, is proposed. In this method, in order to increase the spatial spread of features around the object, the region of interest is divided into regular grids. Within each grid a single feature with maximum cornerness measure in terms of both intensity and SIM data is selected. Imposing spatial-textural constraints jointly selects more discriminative features, whereas a regular grid-based approach decreases bias on pose estimates. Then, the selected features are associated between consecutive frames by a new feature tracking approach, which tracks each feature independently and simultaneously on intensity and SIM data for improving 3D tracking performance. The method decides on the final feature association based on the reliabilities of individual trackers estimated online. Such a parallel approach is observed to increase robustness against sensor noise and individual tracker failures. Finally, RGB and depth measurements of localized features are fused in a well-known Extended Kalman Filter (EKF) framework. In this framework, we propose a novel measurement weighting scheme, based on the manipulation of Kalman gain term, which favors high quality features and provides robustness against measurement errors. This scheme, establishing a connection between computer vision and Bayes filtering disciplines, eliminates sole dependency on predefined sensor noise parameters and identical measurement noise assumption. The increase in 3D tracing accuracy due to each proposed sub-system is shown via experimental results. Furthermore, the accuracy of the proposed 3D tracking method is tested against a number of well-known techniques from the literature and superior performance is observed against such approaches. Finally, the resulting pose estimates of the proposed algorithm is utilized to obtain 3D maps after combining colored point clouds at consecutive time instants. We observe that, although loop closure or post-processing algorithms are not exploited, significant number of 3D point clouds are combined with a quite high accuracy.

Benzer Tezler

  1. Tez No

    834354

    A statistical framework for degraded underwater video generation

    Bozulmuş sualtı video üretimi için istatistiksel bir yapı

    SERKAN ŞATAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. BEHÇET UĞUR TÖREYİN

  2. Tez No

    341170

    Inertial sensor fusion for 3D camera tracking

    3B kamera takibi için eylemsizlik algılayıcılarının birleştirilmesi

    NURİ ÖZER

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Elektrik ve Elektronik MühendisliğiBahçeşehir Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÇİĞDEM EROĞLU ERDEM

    PROF. DR. ARİF TANJU ERDEM

  3. Tez No

    693816

    Synthetic data generation for training and evaluation of deep learning-based computer vision models

    Derin öğrenme-bazlı bilgisayarlı göre modellerinin eğitimi ve değerlendirilmesi için sentetik veri üretimi

    ABDULRAHMAN KERİM

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. UFUK ÇELİKCAN

  4. Tez No

    438744

    Development of the calibration scheme and system integration of the Ozyegin biopsy robot (OBR)

    Özyeğin Üniversitesi biyopsi robotunun kalibrasyon planının ve sistem entegrasyonunun geliştirilmesi

    MIRZA AWAIS AHMAD

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Mekatronik MühendisliğiÖzyeğin Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. ÖZKAN BEBEK

  5. Tez No

    363559

    Digital video stabilization with SIFT flow

    SIFT akışı ile sayısal video sabitleme

    İNCİ MELİHA BAYTAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. MELİH PAZARCI

Geri Dön