Derin öğrenme yöntemleri kullanarak 3B geometri işleme ve uygulamaları
3D geometry processing and applications by using deep learning methods
- Tez No: 745133
- Danışmanlar: DR. ÖĞR. ÜYESİ HELİN DUTAĞACI
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Eskişehir Osmangazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Kontrol ve Kumanda Sistemleri Bilim Dalı
- Sayfa Sayısı: 169
Özet
Nokta bulutu, bilgisayarla görü, robotik, sanal ve artırılmış gerçeklik gibi birçok alanda yaygın olarak kullanılan 3B geometrik veri türüdür. Son yıllarda, doğrudan nokta bulutu kullanılarak tanımlayıcı özelliklerin elde edilmesini sağlayan 3B derin öğrenme yaklaşımları üzerinde çalışmalar hız kazanmıştır. Ancak, bu yaklaşımlar fazla miktarda etiketli veri gerektirdiğinden, genellikle erişime açık veri kümeleri üzerinde geliştirilerek performansları kıyaslanmaktadır. Bu yaklaşımların, yapısal ve geometrik olarak farklı özelliklere sahip veri kümelerine genelleştirilmeleri konusundaki çalışmalar yetersizdir. Bu tez kapsamında, farklı problemler için oluşturulan ve farklı karakteristiklere sahip veri kümelerine ait geometrik özelliklerin daha iyi temsil edilebilmesi için özgün derin öğrenme modülleri ve mimarileri önerilmiştir. İlk olarak, gezgin robot konumlarının oda, koridor ve kapı gibi anlamsal kategorilerine göre sınıflandırılması için 2DLaserNet mimarisi önerilmiştir. Lazer mesafe verilerinden elde edilen 2B nokta kümesindeki ardışık noktalar arasında sıralı ilişkileri dikkate alan 2DLaserNet ile Freiburg veri kümesi üzerinde, özellikle kapı konumunda, önceki çalışmalara göre en iyi tanıma oranı elde edilmiştir. İkinci olarak, bitkilerin toprak üstü kısımlarına ait nicel ölçümlerini ifade eden fenotipleme süreci öncesinde kritik öneme sahip bölütleme işlemi için nokta tabanlı derin öğrenme yaklaşımlarının performansı ilk kez analiz edilmiştir. Etiketli 3B bitki veri kümelerinin yeterli olmaması bu yaklaşımların uyarlanmasını kısıtladığından, mimarilerin uyarlanması ve ön eğitimi için benzetim ortamında 3B sentetik gül fidanı modelleri oluşturulmuştur. Mimarilerin gerçek gül fidanı modelleri üzerindeki performansını değerlendirmek için ROSE-X veri kümesi kullanılmıştır. Yapılan analizler sonrasında bitki modellerinin yapısal özelliklerini açığa çıkarmak için özdikkat mekanizmasıyla donatılmış RoseSegNet mimarisi önerilerek, ROSE-X veri kümesi üzerinde başarılı sonuçlar elde edilmiştir. Nokta tabanlı derin öğrenme yaklaşımlarında, sezgisel ve deneysel olarak belirlenen parametreler ile oluşturulan yerel bölgeler üzerinden yerel özellikler çıkarıldığından performans doğrudan bu parametrelere bağlı olmakta ve oluşturulan yerel bölgeler verinin geometrik yapısını tam olarak yansıtmamaktadır. Bu amaçla gerçekleştirilen üçüncü çalışmada, yerel bölgeleri uyarlamalı olarak oluşturmak için merkez kaydırma ve yarıçap güncelleme modülleri tanıtılmış ve ModelNet40 veri kümesi üzerinde sınıflandırma problemi için en bilinen derin öğrenme mimarisi PointNet++ ile entegre edilmiştir. Kategorilere özgü geometrik yapıları uyarlamalı olarak gruplayarak sınıflandırma performansının artırıldığı gösterilmiştir.
Özet (Çeviri)
Point cloud is a 3D geometric data type used in many fields such as computer vision, robotics, virtual and augmented reality. During recent years, many 3D deep learning approaches have been introduced to extract features directly from raw point clouds. However, since the learning stage of these architectures requires large amounts of labeled data, they are often developed on a few publicly available data sets. It has been observed that the generalization of these approaches to data sets with structurally and geometrically different properties is not sufficiently studied. Within the scope of the thesis, novel point-based deep learning modules and architectures have been developed for a better representation of geometric features of data sets with different characteristics. Firstly, we addressed the semantic classification problem of mobile robot locations into room, corridor, and doorway and proposed a novel point-based deep learning architecture, namely 2DLaserNet. The architecture exploits the ordered structure of the points in the 2D point set converted from laser data. It yielded the state-of-the-art recognition rate on the Freiburg data set and a higher recognition rate on doorway compared to previous studies. Secondly, the potential of point-based deep learning approaches for critical segmentation process was discovered for the first time before phenotyping, which is the quantitative measurements of the observable organs of plants. Since the scarcity of labeled 3D plant data sets limits the adaptation of these approaches, 3D synthetic rosebushes were created in a simulation environment for the adaptation and pre-training of these architectures. The ROSE-X data set was used to evaluate their performance on real rosebush models. Then, by proposing a novel RoseSegNet architecture equipped with self-attention mechanisms to expose the structural features, better segmentation results were obtained on ROSE-X data set. In the previous point-based deep learning approaches, local features are extracted over grouped points with the parameters determined intuitively and experimentally, thus, the performance directly depends on these parameters and the local regions do not fully reflect the surface geometry. For this purpose, thirdly, the center shift and radius update modules were introduced to adaptively constitute local regions and integrated into the well-known architecture PointNet++ for the classification problem on ModelNet40 data set. It has been shown that these modules improved accuracy by attempting to group distinctive geometric structures adaptively.
Benzer Tezler
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Auto-conversion from 2D drawing to 3D model with deep learning
Derin öğrenme ile 2B çizimden 3B modele oto-dönüşüm
GİZEM YETİŞ
Yüksek Lisans
İngilizce
2019
MimarlıkOrta Doğu Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. ARZU GÖNENÇ SORGUÇ
- Investigation of artificial intelligence-based point cloud semantic segmentation
Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi
MUHAMMED ENES ATİK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN
- Deep learning-based techniques for 3D point cloud analysis
3B nokta bulutu analizi için derin öğrenme temelli teknikler
YUSUF HÜSEYİN ŞAHİN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Çok katmanlı küresel derinlik parametreleri ve derin öğrenme yöntemleri ile 3B şekil tamamlama ve üretme
3D shape completion and generation using multilayer spherical depth parameters with deep learning methods
ABDÜLLATİF AĞCA
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATMA BETÜL ATALAY SATOĞLU