Systematic evaluation of the effects of low-resolution and monochrome images on instant neural graphic primitives based 3d reconstruction
Düşük çözünürlüklü ve tek renkli resimlerin anlık nöral grafik temelleri alanları temelli üç boyutlu rekonstrüksiyona etkilerinin sistematik değerlendirilmesi
- Tez No: 844808
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ, DOÇ. DR. EROL ŞAHİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 189
Özet
Son dönemde çıkmış olan Nöral Parlaklık Alanları (NeRF) üç boyutlu rekonstrüksiyon alanında üzerine dikkatleri toplamayı başarmış bir metoddur. Bu metod kompleks bir sahneden alınan resimlerle eğitildikten sonra sahneye ilişkin özgün görüntüler oluşturabilmektedir ve klasik üç boyutlu rekonstrüksiyon metodlarına bir alternatif olarak giderek yükselmektedir. Genel anlamda her ne kadar NeRF başarılı bir model olsa da NeRF'ün limitli durumlarda da başarılı olup olmayacağına dair net bir bilgi bulunmamaktadır. Bu tez en güncel NeRF bazlı üç boyutlu rekonstrüksiyon modellerinin sınırlarını farklı düşük çözünürlüklü ve farklı renk modlu resimlerle test etmeyi hedeflemektedir. Bu deneylerin yapılmasının arkasındaki temel amaç, günümüz modellerinin küçük quadrotorlar gibi sistemlerle gerçek dünyadan alınan düşük çözünürlüklü resimlerle kullanılıp kullanılamayacağı ve NeRF bazlı metodlarda başarıya ulaşabilen minimum bilgi nedir sorularının daha kavrayabilmektir. Bu soruları cevaplayabilmek için NeRF'ün öğrenim ve sonuç çıkarım hızını arttıran bir metod olan Anlık Nöral Grafik Primitifleri (Instant NGP) ve NeRFü Habitat Lab simülasyonundan elde edilmiş farklı renk modu ve farklı düşük çözünürlükteki resimlerle ve bu resimler kullanılarak COLMAP'ten elde edilen kamera pozlarıyla birlikte test eden bir test ortamı yaratılmıştır. Deneylerin çıktıları PSNR, SSIM ve LPIPS metrikleri ile raporlandırılmıştır. Sonuçların neticesinde, (i) yüksek çözünürlükteki resimler daha iyi kalitede rekonstrüksiyon yarattığı, (ii) renk modularının her bir metriği farklı etkilediği ve (iii) daha yüksek çözünürlükteki resimler kullanılarak elde edilen dış kamera parametrelerinin düşük çözünürlükteki resimlerle kullanılınca rekonstrüksiyon kalitesini artırdığı ortaya çıkmıştır. Ayrıca, (iv) Instant NGP için en iyi parametre konfigürasyonu her sahne için değişkenlik gösterebilir ve her sahne için ayrı ayrı ayarlanması gerektiği gözlemlenmiştir ve (v) COLMAP ile yapılan rekonstrüksiyonlar detayları ve sahnenin karakteristik özelliklerini koruyamamakta ve sahnede delikler oluşabilmektedir, bu nedenle Instant NGP rekonstrüksiyon için daha uygun bir aday olarak görülebilir.
Özet (Çeviri)
Neural Radiance Fields (NeRF) have recently emerged as an alternative method to the classical 3D scene reconstruction approaches. Once trained on a set of 2D images taken from a complex scene, it can render novel views. Although many NeRF-based applications have successfully been demonstrated, there is no clear information on whether they can perform well in the case of limitations related to image resolution and colors. The main objective of this thesis is to conduct a systematic evaluation on the limitations of the state of the art NeRF based 3D scene reconstruction methods employing low resolution and different color mode input images at various settings. By conducting these experiments, we intend to gain insight on whether current models can be used with low resolution images that are captured from the real world systems such as small-scale quadrotors. Another goal is to determine the least amount of information required by the NeRF-based methods to perform successfully. To respond to these questions, a test environment is created to conduct experiments with Instant Neural Graphic Primitives (NGP) and NeRF together using input images having two color modes and several levels of low resolution. These images are generated from the Habitat Lab simulation, and camera parameters are estimated by COLMAP using these input image sets. The outputs of the experiments are reported in terms of peak signal-to-noise ratio (PSNR), structural similarity index (SSIM), and learned perceptual image patch similarity (LPIPS) metrics. Results have shown that (i) higher resolution images create reconstructions of better quality, (ii) color mode affects each metric differently, and (iii) the quality of reconstruction is improved for low resolution images when the intrinsics are estimated at their resolution and the extrinsics are estimated at a higher resolution. It is also observed that (iv) the best parameter configurations for Instant NGP might differ and should be fine-tuned for each scene scene separately, and (v) COLMAP reconstructions lose features and details and might contain holes while the Instant NGP might be a better candidate for reconstruction.
Benzer Tezler
- Elmalı ve Alibey su havzalarının uydu görüntü verileriyle izlenmesi ve bilgi sistemi oluşturma olanakları
Başlık çevirisi yok
ÇİĞDEM GÖKSEL
- Gümrük Birliği sürecinin Türk sermaye piyasasına etkileri
The Effects of Customer Union course on Turkish capital market
ÖNDER HALİSDEMİR
Yüksek Lisans
Türkçe
1997
EkonomiMarmara ÜniversitesiSermaye Piyasası ve Borsa Ana Bilim Dalı
PROF. DR. İLHAN ULUDAĞ
- Esnek üretim sistemleri için bir etkin üretim denetleme modeli
An Effective supervisory control model for flexible manufacturing systems
BAHAR KORKUSUZ
Doktora
Türkçe
1989
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. GÖNÜL YENERSOY
- Mekansal analiz teknikleri ile çok kriterli karar verme yaklaşımı kullanılarak raylı sistem güzergah analizi
Rail system route analysis using multi criteria decision making with spatial analysis techniques
BERNA ÇALIŞKAN
Doktora
Türkçe
2023
Ulaşımİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ OSMAN ATAHAN