Deep 3D semantic scene extrapolation
Derin 3B semantik sahne ekstrapolasyonu
- Tez No: 520819
- Danışmanlar: DOÇ. DR. YUSUF SAHİLLİOĞLU, DOÇ. DR. SİNAN KALKAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Ekstrapolasyon, Konvolüsyon, Yapay sinir ağları, Deep learning, Extrapolation, Convolution, Artificial neural networks
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezde, derin modellerle 3 boyutlu sahne çıkarımı problemini inceliyoruz. Sahne çıkarımı, bir sahnenin eksik kısımlarını tahmin etmekle ilgili sahne tamamlama probleminin zorlu bir çeşididir. Literatürdeki 3B sahne tamamlama algoritmaları, bir masanın arkasındaki bir sandalye gibi bir sahnenin tıkanmış kısmını doldurmaya çalışsa da, mevcut yarım sahne bilgisini tam olarak hesaplamaya odaklanıyoruz. Yaklaşımlarımız, çekişmeli üretici ağlar (GAN) ve konvolüsyonel nöral ağlara (CNN) dayanmaktadır. Giridi olarak 3B vokselli sahnelerin yarısını alıyoruz, daha sonra modellerimiz sahnenin diğer yarısını çıktı olarak tamamlıyor. Temel CNN modelimiz, çoklu artık bağlantılara sahip olan konvolüsyon ve ReLU katmanlarından ve sonunda voxel-based cross-entropy kayıp fonksiyonuna sahip ve Softmax sınıflandırıcısından oluşmaktadır. Önerilen GAN modelinde temel CNN modelini jeneratör ağı olarak kullanıyoruz. GAN modelimizi, daha net ve daha gerçekçi sonuçlara sahip iki yerel, yerel-küresel ağdan oluşan bir ayrımcı (Discriminator) ağı ile düzenliyoruz. Yerel ayırımcı sadece sahnelerin oluşturulmuş kısmını alırken, küresel ayrımcı ağı sadece üretilen kısmı değil, aynı zamanda gerçek ve sahte sahneleri birbirinden ayıran ilk gerçek parçayı da alır. CNN modelini kullanarak, giriş sahnesinin üstten görünüş projeksiyonunu 3D girişe paralel olarak çeken bir karma model önermekteyiz. Modellerimizi sentetik 3D SUNCG veri kümesinde eğitiyor ve değerlendiriyoruz. Eğitimli ağlarımızın sahnelerin diğer yarısını tahmin edebildiğini ve objeleri uygun uzunluklarla doğru şekilde tamamlayabildiğini gösteriyoruz. Zorluklarla ilgili bir tartışma ile, derinlemesine öğrenmede gelecekteki araştırmalar için zorlu bir test yatağı olarak sahnenin ekstrapolasyonunu öneriyoruz.
Özet (Çeviri)
In this thesis, we study the problem of 3D scene extrapolation with deep models. Scene extrapolation is a challenging variant of the scene completion problem, which pertains to predicting the missing part(s) of a scene. While the 3D scene completion algorithms in the literature try to fill the occluded part of a scene such as a chair behind a table, we focus on extrapolating the available half scene information to a full one, a problem that, to our knowledge, has not been studied yet. Our approaches are based on deep generative adversarial (GAN) and convolutional neural networks (CNN). As input, we take the half of 3D voxelized scenes, then our models complete the other half of scenes as output. Our baseline CNN model consists of convolutional and ReLU layers with multiple residual connections and Softmax classifier with voxelwise cross-entropy loss function at the end. We use the baseline CNN model as the generator network in the proposed GAN model. We regularize our GAN model with a discriminator network, consisting of two internal, local-global networks to have sharper and more realistic results. Local discriminator takes only the generated part of scenes, while global discriminator network takes not only the generated part but v also the first real part to distinguish between real and fake scenes. Using the CNN model we also propose a hybrid model, which takes the top view projection of input scene in parallel with the 3D input. We train and evaluate our models on the synthetic 3D SUNCG dataset. We show that our trained networks can predict the other half of the scenes, and complete the objects correctly with suitable lengths. With a discussion on the challenges, we propose scene extrapolation as a challenging testbed for future research in deep learning.
Benzer Tezler
- İdrar kültürlerinden izole edilen coag (-) staphylococcus (s. epidrmidis ve s. saprophyticus)'ların idrar yolu enfeksiyonlarındaki yeri
The Place of coag (-) staphylococcus to the urinary tract infectron which are isolated from the urine cultures
SUMRU ÇITAK(KORMAN)
- Dondurularak saklamanın tavuk etinin bazı kalite özellikleri üzerine etkisi
Başlık çevirisi yok
Ö.EVREN ATASOY
Yüksek Lisans
Türkçe
1987
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DR. SUMRU TÖMEK
- Çanakkale ve çevresi artiodactyla fosilleri (paleontoloji, biyostratigrafi, paleoekoloji ve paleobiyocoğrafya) (2 cilt)
Başlık çevirisi yok
VAHDET TUNA
- Uygun sulama yönteminin seçimine ekonomik faktörlerin etkisi
Effect of economical factors on the selection of irrigation methods
YASEMİN ALTINORAK
Yüksek Lisans
Türkçe
1987
ZiraatAnkara ÜniversitesiKültürteknik Ana Bilim Dalı
YRD. DOÇ. DR. OSMAN YILDIRIM