Deep 3D semantic scene extrapolation
Derin 3B semantik sahne ekstrapolasyonu
- Tez No: 520819
- Danışmanlar: DOÇ. DR. YUSUF SAHİLLİOĞLU, DOÇ. DR. SİNAN KALKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 74
Özet
Bu tezde, derin modellerle 3 boyutlu sahne çıkarımı problemini inceliyoruz. Sahne çıkarımı, bir sahnenin eksik kısımlarını tahmin etmekle ilgili sahne tamamlama probleminin zorlu bir çeşididir. Literatürdeki 3B sahne tamamlama algoritmaları, bir masanın arkasındaki bir sandalye gibi bir sahnenin tıkanmış kısmını doldurmaya çalışsa da, mevcut yarım sahne bilgisini tam olarak hesaplamaya odaklanıyoruz. Yaklaşımlarımız, çekişmeli üretici ağlar (GAN) ve konvolüsyonel nöral ağlara (CNN) dayanmaktadır. Giridi olarak 3B vokselli sahnelerin yarısını alıyoruz, daha sonra modellerimiz sahnenin diğer yarısını çıktı olarak tamamlıyor. Temel CNN modelimiz, çoklu artık bağlantılara sahip olan konvolüsyon ve ReLU katmanlarından ve sonunda voxel-based cross-entropy kayıp fonksiyonuna sahip ve Softmax sınıflandırıcısından oluşmaktadır. Önerilen GAN modelinde temel CNN modelini jeneratör ağı olarak kullanıyoruz. GAN modelimizi, daha net ve daha gerçekçi sonuçlara sahip iki yerel, yerel-küresel ağdan oluşan bir ayrımcı (Discriminator) ağı ile düzenliyoruz. Yerel ayırımcı sadece sahnelerin oluşturulmuş kısmını alırken, küresel ayrımcı ağı sadece üretilen kısmı değil, aynı zamanda gerçek ve sahte sahneleri birbirinden ayıran ilk gerçek parçayı da alır. CNN modelini kullanarak, giriş sahnesinin üstten görünüş projeksiyonunu 3D girişe paralel olarak çeken bir karma model önermekteyiz. Modellerimizi sentetik 3D SUNCG veri kümesinde eğitiyor ve değerlendiriyoruz. Eğitimli ağlarımızın sahnelerin diğer yarısını tahmin edebildiğini ve objeleri uygun uzunluklarla doğru şekilde tamamlayabildiğini gösteriyoruz. Zorluklarla ilgili bir tartışma ile, derinlemesine öğrenmede gelecekteki araştırmalar için zorlu bir test yatağı olarak sahnenin ekstrapolasyonunu öneriyoruz.
Özet (Çeviri)
In this thesis, we study the problem of 3D scene extrapolation with deep models. Scene extrapolation is a challenging variant of the scene completion problem, which pertains to predicting the missing part(s) of a scene. While the 3D scene completion algorithms in the literature try to fill the occluded part of a scene such as a chair behind a table, we focus on extrapolating the available half scene information to a full one, a problem that, to our knowledge, has not been studied yet. Our approaches are based on deep generative adversarial (GAN) and convolutional neural networks (CNN). As input, we take the half of 3D voxelized scenes, then our models complete the other half of scenes as output. Our baseline CNN model consists of convolutional and ReLU layers with multiple residual connections and Softmax classifier with voxelwise cross-entropy loss function at the end. We use the baseline CNN model as the generator network in the proposed GAN model. We regularize our GAN model with a discriminator network, consisting of two internal, local-global networks to have sharper and more realistic results. Local discriminator takes only the generated part of scenes, while global discriminator network takes not only the generated part but v also the first real part to distinguish between real and fake scenes. Using the CNN model we also propose a hybrid model, which takes the top view projection of input scene in parallel with the 3D input. We train and evaluate our models on the synthetic 3D SUNCG dataset. We show that our trained networks can predict the other half of the scenes, and complete the objects correctly with suitable lengths. With a discussion on the challenges, we propose scene extrapolation as a challenging testbed for future research in deep learning.
Benzer Tezler
- Deep learning architectures for smart urban scene analysis
Akıllı kentsel sahne analizi için derin öğrenme mimarileri
TUBA DEMİRTAŞ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGalatasaray ÜniversitesiAkıllı Sistemler Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL BURAK PARLAK
- Application and analysis of deep learning techniques on the problem of depth estimation from a single image
Derin öğrenme tekniklerinin tekil görüntüden derinlik tahmini problemi üzerinde uygulanması ve incelenmesi
ALİCAN MERTAN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Synthetic data generation for training and evaluation of deep learning-based computer vision models
Derin öğrenme-bazlı bilgisayarlı göre modellerinin eğitimi ve değerlendirilmesi için sentetik veri üretimi
ABDULRAHMAN KERİM
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. UFUK ÇELİKCAN
- 3B nokta bulutlarının derin öğrenme yöntemiyle semantik segmentasyonu
Semantic segmentation of 3D point clouds using deep learning methods
MERT BEŞİKTEPE
Yüksek Lisans
Türkçe
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. CANER GÜNEY