Hand pose estimation and rendering for augmented reality
Artırılmış gerçeklik için insan eli tahmini ve görselleştirme
- Tez No: 723380
- Danışmanlar: DR. ÖĞR. ÜYESİ YAKUP GENÇ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Evrişimli sinir ağları, Görselleştirme, Üretici ağlar, Deep learning, Convolutional neural networks, Visualization, Producer networks
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Gebze Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Renkli (RGB) bir imgeden üç boyutlu (3B) elin yeri ve doğrultusunun tahmini, birçok artırılmış gerçeklik (AG) uygulaması için çok elzemdir. Elin tam görünmemesi ve sahne derinlik belirsizlikleri nedeniyle doğru tahmin zordur. Güncel yöntemler, el eklemleri arasındaki kinematik bağımlılıkları modellemek için çizge evrişimsel ağ (ÇGN) kullanmaktadır. Bununla birlikte, bu teknikler, ölçeğe göre normalleştirilmiş bir referansa görece 3B pozu tahmin eder ve mutlak koordinatları tahmin etmez. Ayrıca, regresyon problemini sınırlandırmak için herhangi bir kısıtlamadan getirmezler. Bu arada, yüksek hesaplama süresi gerektiren verimsiz kayıp fonksiyonlarına sahip büyük modeller kullanırlar. Bu tezde, bahsedilen sorunlar ele alınmakta ve etkili 2B ve 3B el pozu tahmin yöntemleri sunulmaktadır. İlk yöntem, 2B el pozu tahmini için çok ölçekli bir sıcaklık haritası regresyon yaklaşımıdır. İkinci çözüm, eklemleri 2B/3B uzamsal konumlarına göre sınıflandıran ÇGN tabanlı bir çerçevedir. Model regresyon görevine rehberlik eden girdi başına ortak ilişkiler kısıtlamasını öğrenir. Üçüncü metodumuz, kamera alanındaki el ölçeği ve konumu hakkında ipuçları sağlayan kırpılmış eli ve küresel sahne görüntüsünü kullanır. Ayrıca regresyonu basitleştirmek ve çalışma süresini hızlandırmak için yeni bir kayıp fonksiyonu sunar. Beş genel veri kümesi ve yeni oluşturulan veri kümemiz üzerinde yapılan kapsamlı deneyler, verimli modellerimizin doğru küresel 3B el pozisyona ve oryantasyonunu tahmin ettiğini ve literatürden daha iyi performans sağladıklarını göstermektedir. Son olarak doğrudan AG görselleştirme için girdi gerçek el görüntüsünü sentetik bir görüntüye çeviren ve onu nesne görüntüsüyle birleştiren çekişmeli üretici ağ (GAN) tabanlı bir yöntem sunmaktadır. Niteliksel ve niceliksel sonuçlar, yaklaşımımızın görsel olarak gerçekci işlenmiş el görüntüleri oluşturduğunu ve literatürdeki GAN tabanlı çözümlerden daha iyi başarım sergilediğini gösteriyor.
Özet (Çeviri)
Monocular RGB-based 3D hand pose estimation is crucial for numerous augmented reality applications. This task is challenging due to occlusion and depth ambiguities. Recent methods use GCN-based (Graph Convolutional Networks) to model kinematic dependencies between hand joints. These techniques estimate a scalenormalized root-relative 3D pose, and the absolute coordinates are unknown. Also, they do not enforce any constraints to restrict the regression model. Meanwhile, they employ large models with inefficient loss functions requiring high computation time. This thesis tackles the issues and presents efficient 2D and 3D hand pose estimation methods. The first method is a multi-scale heatmap regression approach for 2D hand pose estimation. The second study is a GCN-based framework that classifies the joints based on their 2D/3D spatial locality. It learns per-input joint relation constraints that guide the 3D regression task. Our third method exploits the cropped hand and the global scene image, which provides clues about the hand scale and location in the camera space. Also, it presents a new loss function to simplify the regression and speed up the running time. Extensive experiments on five public datasets show that our efficient models estimate accurate global 3D hand poses and outperform the state-ofthe-art. The last study presents a GANs-based (generative adversarial network) method that translates a real hand image to a synthetic one and renders it with an object image. Qualitative and quantitative results show that our approach generates visually appealing rendered hand images and outperforms different GANs-based frameworks.
Benzer Tezler
- Bilgisayarlı görü ile dijital ergonomik risk değerlendirme sistemi: REBA, RULA ve OWAS uygulaması
Digital ergonomic risk assessment system with computerized vision: REBA, RULA and OWAS application
ANIL ÖZKAN GEÇİCİ
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPER KİRAZ
- Bazı esterlerin kinetik incelenmesi ve termodinamik parametrelerin belirlenmesi
Kinetic study and detesmination of thermodnamic parameters of some esters
İBRAHİM TAŞ
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- Nükleer rezonasta moleküler yapıların incelenmesi (yapısal faz geçiş kuramları üzerine bir inceleme)
Başlık çevirisi yok
ABDURRAHMAN ANDİÇ
Yüksek Lisans
Türkçe
1986
Fizik ve Fizik MühendisliğiUludağ ÜniversitesiFizik Ana Bilim Dalı
PROF. DR. AYTAÇ YALÇINER
- Samsun ve çevresinde tarla sarmaşığı (conuolvulus arvensis L.)'na karşı biyolojik savaşa esas olacak fauna tespiti
Investigations on the insect fauna of the field binweed (Conuolvulus arvensis L.) related to its biological control in Samsun Province
YASEMİN UFUK GERMAN