Hand pose estimation and rendering for augmented reality
Artırılmış gerçeklik için insan eli tahmini ve görselleştirme
- Tez No: 723380
- Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 144
Özet
Renkli (RGB) bir imgeden üç boyutlu (3B) elin yeri ve doğrultusunun tahmini, birçok artırılmış gerçeklik (AG) uygulaması için çok elzemdir. Elin tam görünmemesi ve sahne derinlik belirsizlikleri nedeniyle doğru tahmin zordur. Güncel yöntemler, el eklemleri arasındaki kinematik bağımlılıkları modellemek için çizge evrişimsel ağ (ÇGN) kullanmaktadır. Bununla birlikte, bu teknikler, ölçeğe göre normalleştirilmiş bir referansa görece 3B pozu tahmin eder ve mutlak koordinatları tahmin etmez. Ayrıca, regresyon problemini sınırlandırmak için herhangi bir kısıtlamadan getirmezler. Bu arada, yüksek hesaplama süresi gerektiren verimsiz kayıp fonksiyonlarına sahip büyük modeller kullanırlar. Bu tezde, bahsedilen sorunlar ele alınmakta ve etkili 2B ve 3B el pozu tahmin yöntemleri sunulmaktadır. İlk yöntem, 2B el pozu tahmini için çok ölçekli bir sıcaklık haritası regresyon yaklaşımıdır. İkinci çözüm, eklemleri 2B/3B uzamsal konumlarına göre sınıflandıran ÇGN tabanlı bir çerçevedir. Model regresyon görevine rehberlik eden girdi başına ortak ilişkiler kısıtlamasını öğrenir. Üçüncü metodumuz, kamera alanındaki el ölçeği ve konumu hakkında ipuçları sağlayan kırpılmış eli ve küresel sahne görüntüsünü kullanır. Ayrıca regresyonu basitleştirmek ve çalışma süresini hızlandırmak için yeni bir kayıp fonksiyonu sunar. Beş genel veri kümesi ve yeni oluşturulan veri kümemiz üzerinde yapılan kapsamlı deneyler, verimli modellerimizin doğru küresel 3B el pozisyona ve oryantasyonunu tahmin ettiğini ve literatürden daha iyi performans sağladıklarını göstermektedir. Son olarak doğrudan AG görselleştirme için girdi gerçek el görüntüsünü sentetik bir görüntüye çeviren ve onu nesne görüntüsüyle birleştiren çekişmeli üretici ağ (GAN) tabanlı bir yöntem sunmaktadır. Niteliksel ve niceliksel sonuçlar, yaklaşımımızın görsel olarak gerçekci işlenmiş el görüntüleri oluşturduğunu ve literatürdeki GAN tabanlı çözümlerden daha iyi başarım sergilediğini gösteriyor.
Özet (Çeviri)
Monocular RGB-based 3D hand pose estimation is crucial for numerous augmented reality applications. This task is challenging due to occlusion and depth ambiguities. Recent methods use GCN-based (Graph Convolutional Networks) to model kinematic dependencies between hand joints. These techniques estimate a scalenormalized root-relative 3D pose, and the absolute coordinates are unknown. Also, they do not enforce any constraints to restrict the regression model. Meanwhile, they employ large models with inefficient loss functions requiring high computation time. This thesis tackles the issues and presents efficient 2D and 3D hand pose estimation methods. The first method is a multi-scale heatmap regression approach for 2D hand pose estimation. The second study is a GCN-based framework that classifies the joints based on their 2D/3D spatial locality. It learns per-input joint relation constraints that guide the 3D regression task. Our third method exploits the cropped hand and the global scene image, which provides clues about the hand scale and location in the camera space. Also, it presents a new loss function to simplify the regression and speed up the running time. Extensive experiments on five public datasets show that our efficient models estimate accurate global 3D hand poses and outperform the state-ofthe-art. The last study presents a GANs-based (generative adversarial network) method that translates a real hand image to a synthetic one and renders it with an object image. Qualitative and quantitative results show that our approach generates visually appealing rendered hand images and outperforms different GANs-based frameworks.
Benzer Tezler
- Bilgisayarlı görü ile dijital ergonomik risk değerlendirme sistemi: REBA, RULA ve OWAS uygulaması
Digital ergonomic risk assessment system with computerized vision: REBA, RULA and OWAS application
ANIL ÖZKAN GEÇİCİ
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPER KİRAZ
- Using an electronic gyroscope with real-time microcontroller; design and implementation of an impedance type kinesthetic interface with high pose, force and timing fidelity
Elektronik jiroskop ve gerçek zamanlı mikro kontrolcü kullanılarak, yüksek durum, kuvvet ve zamanlama doğruluğuna sahip empedans tipi kinestetik cihazın tasarımı ve gerçekleştirimi
SEYİT YİĞİT SIZLAYAN
Yüksek Lisans
İngilizce
2019
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA MERT ANKARALI
- Real-time human hand pose estimation and tracking using depth sensors
Derinlik algılayıcıları ile gerçek zamanlı insan el pozu kestirimi ve izlemesi
MUSTAFA FURKAN KIRAÇ
Doktora
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN
- Görüntü işleme teknikleri ile balıklarda duruş tahmini ve hareket tanıma
Pose estimation and action recognition in fish with image prosessing techniques
MEHMET FURKAN AKÇA
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBurdur Mehmet Akif Ersoy ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET FATİH DEMİRAL
PROF. DR. ALİ HAKAN IŞIK