3D shape generation and manipulation
3 boyutlu model jenerasyonu ve manipülasyonu
- Tez No: 765001
- Danışmanlar: DOÇ. DR. EMRE UĞUR, DR. PINAR YANARDAĞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayar grafikleri, Bölütleme, Üç boyutlu modeller, Computer graphics, Segmentation, Three dimensional models
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bilgisayar grafikleri, 3B bilgisayarlı görü ve robotik komüniteleri 3B şekilleri ifade etmek, modellemek ve jenere etmek için pek çok yöntem geliştirmiş ve kullanım alanı oluşturmuştur. Bu kullanım alanlarının bazıları 3B şekilleri kodlama ve sıkıştırma ve kısmi 3B şekillerin tamamlanması olup; 3B şekil manipülasyonu ve tek resimden 3B şekil üretme hala görece az çalışılmış konulardır. 3B şekil manipülasyonu ve tek resimden 3B şekil üretme konuları birbirleriyle ilişkili olup, bu konular üzerindeki çalışmalar yeni dizayn metodolojilerini mümkün kılacaktır. Bu tezde 3B şekil manüpülasyonu için bir çerçeve geliştirip, baz model olarak Deep Implicit Templates'i kullandık. Bu model 3B şekil üretmenin haricinde, aynı kategoriye ait şekiller için topolojik benzerlik haritaları çıkarabilmektedir. Bunun için öncelikle 3B şekil temsil formatlarını ve ilgili araştırmaları anlatmakla başlayıp, daha sonra geliştirdiğimiz metodları ve çerçeveyi anlattık. Tezimizde ana veriseti olarak ShapeNetV2'yi kullanarak Deep Implicit Templates katmanları içinde denetimli ve denetimsiz yönler bulduk. Deneylerimiz sonucunda, PCA uygulayarak bulduğumuz denetimsiz yönlerin pek çok lokal ve global özelliği temsil ettiğini gördük: sandalye yüksekliği, araba uzunluğu, dizayn trendleri ve şekil alt kategorileri gibi. Ek olarak, ShapeNetV2 meta verisini ve öğrenilmiş şekil kodlarını kullanarak eğitilmiş lineer SVM modelleriyle başarılı şekilde denetimli manipülasyon yapabileceğimizi gösterdik. Son olarak, eğitilmiş bir Vision Transformer (ViT) modelinin ve eğitilmiş bir birleşik resim-yazı temsili modeli olan, CLIP'in ara katmanlarını kullanarak gerçek zamanlı ve efektif bir tek resimden 3B şekil üretme metodu geliştirdik. Geliştirdiğimiz metod, ViT ve CLIP'in ara katmanlarıyla DIT'in ara katmanları arasında köprü görevi görmekte olup, poz ve perspektiften bağımsız olarak gerçek zamanlı ve yüksek kalitede resimleri 3B şekillere dönüştürebilmektedir.
Özet (Çeviri)
Computer graphics, 3D computer vision and robotics communities have produced multiple approaches to represent and generate 3D shapes, as well as a vast number of use cases. These use cases include, but are not limited to, data encoding and compression, shape completion and reconstruction from partial 3D views. However, controllable 3D shape generation and single-view reconstruction remain relatively unexplored topics that are tightly intertwined and can unlock new design approaches. In this work, we propose a unified 3D shape manipulation and single-view reconstruction framework that builds upon Deep Implicit Templates, a 3D generative model that can also generate correspondence heat maps for a set of 3D shapes belonging to the same category. For this purpose, we start by providing a comprehensive overview of 3D shape representations and related work, and then describe our framework and proposed methods. Our framework uses ShapeNetV2 as the core dataset and enables finding both unsupervised and supervised directions within Deep Implicit Templates. More specifically, we use PCA to find unsupervised directions within Deep Implicit Templates, which are shown to encode a variety of local and global changes across each shape category. In addition, we use the latent codes of encoded shapes and metadata of the ShapeNet dataset to train linear SVMs and perform supervised manipulation of 3D shapes. Finally, we propose a novel framework that leverages the intermediate latent spaces of Vision Transformer (ViT) and a joint image-text representational model, CLIP, for fast and efficient Single View Reconstruction (SVR). More specifically, we propose a novel mapping network architecture that learns a mapping between the latent spaces ViT and CLIP, and DIT. Our results show that our method is both view-agnostic and enables high-quality and real-time SVR.
Benzer Tezler
- Formalizing making in design
Tasarımda yapma eyleminin formalizasyonu
BENAY GÜRSOY TOYKOÇ
Doktora
İngilizce
2016
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU
- Detection of imatinib and doxorubicin resistance in K562 leukemia cells by 3D-electrode contactless dielectrophoresis
Imatinib ve doxorubicin direnci geliştirmiş K562 lösemi hücrelerinin 3 boyutlu elektrot kullanılarak temassız dielektroforez ile tespiti
YAĞMUR DEMİRCAN
Yüksek Lisans
İngilizce
2013
BiyomühendislikOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALUK KÜLAH
- Uydu verilerinden harita kapsamında görüntü üretmenin geometrik doğruluğu
The Geometric accuracy of producing a map scene from satellite image data
CENGİZHAN İPBÜKER
- Hava kirliliği konusunda çevre bilgi sistemi tasarımı ve gerçekleştirilmesi pilot projesi
Design of an information system about air pollution
HARUN İYİDİKER
- Ni/ZnO nanokompozit partiküllerinin ultrasonik sprey piroliz tekniğiyle üretimi
Production of Ni/ZnO nanocomposite particles via ultrasonic spray pyrolysis (USP) method
İLAYDA KOÇ
Yüksek Lisans
Türkçe
2013
Metalurji Mühendisliğiİstanbul Teknik Üniversitesiİleri Teknolojiler Ana Bilim Dalı
PROF. DR. SEBAHATTİN GÜRMEN