Geri Dön

Stereo based 3D head tracking using the scale invariant feature transform

Ölçekten bağımsız öznitelik dönüşümü kullanarak stereo kamera ile üç boyutlu kafa takibi

  1. Tez No: 223779
  2. Yazar: BATU AKAN
  3. Danışmanlar: PROF. DR. AYTÜL ERÇİL, YRD. DOÇ. DR. MÜJDAT ÇETİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Matematik, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering, Mathematics
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2008
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Mühendislik Bilimleri Bölümü
  12. Bilim Dalı: Elektronik-Bilgisayar Eğitimi Ana Bilim Dalı
  13. Sayfa Sayısı: 80

Özet

Bu tezde üç boyutlu (3B) kafa takibi için ölçekten bağımsız öznitelik dönüşümüne (SIFT) dayalı bir yöntem önerilmektedir. Önerilen yöntemin, düzlem dışı öteleme ve dönmelere karşı gürbüz olduğu belirlenmiş aynı zamanda görüntüdeki ani değişen aydınlanma farklarından da etkilenmediği gözlenmiştir. Bunun yanı sıra optik akış yöntemine dayalı, Normal Flow Constraint ve 3B çakıştırma yöntemi olan tekrarlı en yakın nokta algoritmasını (ICP) değerlendirdik ve önerdiğimiz yöntem ile karşılaştırmasını yaptık. Kafa takibi, bir çok bilgisayarla görme uygulaması için önemli bir süreçtir. Eğer kafanın üç boyutlu uzaydaki yeri ve duruşu bilinirse, yüz tanıması, ifade analizi, dudak okuması gibi problemleri, 3B kafa izleyicisi tarafından oluşturulan dengelenmiş imgeleri kullanarak çözmek daha muhtemeldir.Önerdiğimiz sistem 2B bir yüz sezicisi kullanarak özişler bir biçimde başlamaktadır. Birbirini takip eden video imgelerinde SIFT öznitelik noktaları bulunur ve birbirlri ile eşleştirilir. Eşleştirilen noktalar, derinlik bilgisi de kullanılarak 3B ilişki kümesi oluşturulur. Birim kuaterniyon yöntemi ile 3B katı devinim hesaplanır. Önerdiğimiz SIFT yöntemi ötelemelerde NFC ve ICP yöntemlerin daha iyi sonuç verdi ve dönmelerde ise NFC benzer bir başarım gösterdi. Aynı zamanda önerilen yöntem uzun videolarda sürüklenmeden daha az etkilenmekte ve zamana bağlı aydınlanma değişikliklerine göre gürbüzdür. Önerilen SIFT tabanlı yöntemin başarısı sentetik ve stereo kamera ile çekilmiş gerçek görüntüler üzerinde denenip var olan diğer yöntemlerle karşılaştıması yapıldı.

Özet (Çeviri)

In this thesis a new stereo-based 3D head tracking technique, based on scale-invariant feature transform (SIFT) features, that is robust to illumination changes is proposed. Also two major tracking techniques, one based on normal flow constraints (NFC) and a 3D registration-based method, based on iterative closest point (ICP) algorithm, are reviewed and compared against the proposed technique. A 3D head tracker is very important for many vision applications. The resulting tracker output parameters can be used to generate a stabilized view of the face that can be used as input to many existing 2D techniques such as facial expression analysis, lip reading, eye tracking, and face recognition.Our system can automatically initialize using a simple 2D face detector. We extract salient points from the intensity images using SIFT features and match them between frames. Together with the depth image and the matched features we obtain 3D correspondences. Using the unit quaternion method, we recover the 3D motion parameters. Our proposed method outperforms both NFC and ICP on translations; and performs as good as NFC on rotations. Experimentally, the proposed system is less likely to drift than NFC and ICP over long sequences and is robust to illumination changes. We present experiments to test the accuracy of our SIFT-based 3D tracker on sequences of synthetic and real stereo images.

Benzer Tezler

  1. Investigating physiological and affective responses in virtual reality scenes and enhancing user experience with a gaze-directed method

    Sanal gerçeklik sahnelerindeki fizyolojik ve duygusal tepkilerin araştırılması ve bakış güdümlü yöntem ile kullanıcı kalitesinin iyileştirilmesi

    BERK CEBECİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTED Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    PROF. DR. TOLGA KURTULUŞ ÇAPIN

    DR. ÖĞR. ÜYESİ UFUK ÇELİKCAN

  2. Fotometrik stereo tabanlı 3 boyutlu yüz tanıma

    Photometric stereo based 3D face recognition

    EBUBEKİR TEMİZKAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2011

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    YRD. DOÇ. DR. HASAN ŞAKİR BİLGE

  3. A low cost stereo based 3D SLAM for wearable applications

    Giyilebilir uygulamalar için düşük maliyetli kameralar ile üç boyutlu eş zamanlı konumlandırma ve haritalama

    MUSTAFA YASİN ŞAKA

    Yüksek Lisans

    İngilizce

    İngilizce

    2010

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik ve Elektronik Mühendisliği Bölümü

    YRD. DOÇ. DR. İLKAY ULUSOY

  4. Sanal görüntüleme için geometrik bir model tasarımı ve veri güncellemesi

    A Geometrical model design and data updating for virtual imaging

    HALUK EREN

    Yüksek Lisans

    Türkçe

    Türkçe

    2002

    Elektrik ve Elektronik MühendisliğiFırat Üniversitesi

    Elektrik Eğitimi Ana Bilim Dalı

    PROF. DR. ATA SELÇUK