Unveiling limitations in single-view 3D object reconstruction models
Tek imgeden 3B nesne geriçatma modellerinin sınırlarının açıklanması
- Tez No: 881621
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY, DR. ÖĞR. ÜYESİ BERK GÖKBERK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 89
Özet
3B nesne geriçatma modelleri tipik olarak tek bir veri setinden, ShapeNetCore, öğrenir ve ShapeNetCore ile yüksek benzerlikli özellikleri ölçen veri setlerine karşı değerlendirilir. Bu çalışmada bu sınırlı değerlendirme sorununu, yeni zorluklara karşı modellerin dayanıklılıklarını ölçmek için testler önererek ele aldık. Önerdiğimiz testlerin etkinliğini göstermek için karşılaştırmada üç yaygın kullanılan modeli seçtik: 3D-C2FT, Pix2Vox, ve Occupancy Networks. Bu seçim, iki iyi bilinen 3B şekil temsilini kapsar: voksel ve örtük gösterim için doluluk fonksiyonu. İlk olarak, performans üzerinde arka plan renginin değişiminin etkisini araştırdık. Bu görünüşte basit değişkenin performansta önemli bir düşüşe sebep olduğunu bulduk. Modellerin, 2B girdilerdeki nesne boyutları değişse bile, orijinal senaryoya oldukça yakın bir performans sergilediklerini gözlemledik. Daha sonra, yeni tanıtılan 3DCoMPaT++ verisetini 3B geriçatma değerlendirmesi için uyarladık. 3DCoMPaT++ şekiller için malzeme ve parça etiketleri açısından zengindir. Bu setle, 2B imgelerde hafifçe değişen bakış açıları ve stillerle geriçatma performansını değerlendirdik. Sonuçlar, modellerin yeni durumlara uyum sağlamakta zorlandığını gösteriyor. En iyi senaryoda performansta belirgin bir düşüş gözlemlendi ve beklenmedik bir şekilde, standart ShapeNetCore deneylerinin en iyisi Pix2Vox, tüm yeni veri seti deneylerinde en düşük skoru elde etti. Ek olarak, geriçatması en zor nesne kısımlarını belirlemek için modeller parça seviyesinde değerlendirildi. 3DCoMPaT++ setindeki parça nokta bulutlarının bilgisini yüzey nokta bulutlarına L2 mesafesiyle aktardık. Değerlendirme için önerdiğimiz Parça [email protected] metriğini kullandık. Böylece, önceki çalışmalarda sadece nitel gözlemlerle aktarılan detay ve ince kısımlarda düşük geriçatma performansı nicel olarak gösterildi.
Özet (Çeviri)
3D object reconstruction models typically learn from a single dataset, ShapeNetCore, and are evaluated against similar datasets that measure aspects closely related to ShapeNetCore. We tackled the problem of limited performance assessment by proposing novel benchmarks to reveal their robustness to new challenges. To demonstrate our benchmark's effectiveness, we selected three state-of-the-art models for comparison: 3D-C2FT, Pix2Vox, and Occupancy Networks. This selection covers two well-known 3D shape representations: voxel and occupancy function as an implicit representation. We first investigated the effect of changing background color on performance. We found that this seemingly simple variable causes a drastic decrease in performance. We observed that models perform sufficiently close to the original scenario with changing input object sizes in 2D. Further, we adapted a novel dataset 3DCoMPaT++ for 3D reconstruction evaluation. 3DCoMPaT++ offers rich material and part annotations. We assessed reconstruction performance by slightly changing viewpoints and varying styles in 2D input images. The results show that models struggle to adapt to novel settings. Performance degrades drastically in the best-case scenario, and surprisingly, the model performing the best in the standard ShapeNetCore experiment, Pix2Vox, scores the worst across all novel dataset experiments. We also evaluated models at the part level to identify the most challenging parts. We transferred part-level point clouds to part-annotated surface points from 3DCoMPaT++ using point cloud registration with L2 distance. We then utilized our version of [email protected], Part [email protected], for evaluation. This experiment quantitatively confirmed the known issue of poor performance in finer details and thin parts, unlike previous works that only made qualitative observations.
Benzer Tezler
- Öz bilgi destekli derin öğrenme yaklaşımları ile hsg gürültü giderme
Self-ınformation empowered deep learning approaches for hsı denoising
ORHAN TORUN
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
PROF. DR. MEHMET ERKUT ERDEM
- Unveiling the wireless network limitations in federated learning
Kablosuz internet ağlarındaki kısıtların federe öğrenmeye olan etkilerinin ortaya çıkarılması
MÜMTAZ CEM ERİŞ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SEMA FATMA OKTUĞ
DOÇ. DR. BURAK KANTARCI
- Unveiling the shadows: Patriarchal constructions in Neil Gaiman's the Ocean at the End of the Lane
Gölgeleri açığa çıkarmak: Neil Gaiman'ın Yolun Sonundaki Okyanus romanında ataerkil yapılar
ECE KUTLUGÜN ARSLAN
Yüksek Lisans
İngilizce
2024
İngiliz Dili ve EdebiyatıKoç ÜniversitesiKarşılaştırmalı Edebiyat Ana Bilim Dalı
DOÇ. DR. NAZMİ AĞIL
- Virtual reality applications in urban design: Unveiling potentials and future directions
Kentsel tasarımda sanal gerçeklik uygulamaları: Potansiyellerin ve gelecek yönelimlerin belirlenmesi
IŞIK SEVİNÇ KESKİN MERCAN
Yüksek Lisans
İngilizce
2024
Mimarlıkİstanbul Teknik ÜniversitesiKentsel Tasarım Ana Bilim Dalı
DOÇ. DR. GÜLDEN DEMET ORUÇ ERTEKİN
- Different representations of a mediating artifact in exhibitions: Woman figurine of Çatalhoyuk
Sergilerde bir tarihi eserin farklı temsilleri: Çatalhöyük'ün kadın figürini
HATİCE PELİN ALKAN GÖKMEN
Yüksek Lisans
İngilizce
2024
MüzecilikKadir Has ÜniversitesiTasarım Ana Bilim Dalı
DOÇ. DR. AYŞE NUR EREK