Geri Dön

Deep learning-based techniques for 3D point cloud analysis

3B nokta bulutu analizi için derin öğrenme temelli teknikler

PDF İndir

  1. Tez No: 848313
  2. Yazar: YUSUF HÜSEYİN ŞAHİN
  3. Danışmanlar: PROF. DR. GÖZDE ÜNAL
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 116

Özet

Bu tez kapsamında nokta bulutu işlemeye yönelik yenilikçi iki çalışma sunulmaktadır: ODFNet ve ALReg. ODFNet çalışması nokta kümelerinin sınıflandırılması ve segmantasyonuna yönelik yeni bir yöntem önerirken, ALReg ise aktif öğrenme kullanarak iki nokta bulutunun çakıştırılmasına yönelik sinir ağlarının daha kolay eğitilebilmesine yöneliktir. Son yaklaşımlar, nokta bulutlarından yerel özellikler çıkarmak için küresel hacimler oluşturma veya k-en yakın komşuyu seçme gibi yöntemleri içerir. ModelNet40 sınıflandırma veri kümesinde en iyi sonuçları elde eden son çalışmalar olan DensePoint ve ShellNet, her nokta etrafında küresel bölgeler oluştururlar. DensePoint, sinir ağındaki her katmanda farklı boyutlarda küreler kullanarak çoklu ölçeklerden özellikler elde etmeyi sağlar; ShellNet'te ise her kabukta noktaların koordinatları bir çok katmanlı algılayıcı (multi-layer perceptron) aracılığıyla dönüştürülür ve maksimum havuzlama işlemi kabuklar arasında özellikleri birleştirir. Her iki yöntemde de küre içindeki noktalar, seçilen noktaya göre yönlendirmeleri dikkate almayacak şekilde işlenir. Yerel özelliklerin temsil gücünü artırmak için, bir referans noktasına göre bir komşuluktaki noktaların yönlendirme dağılımlarını kullanıyoruz. Bu, nokta bulutları için nokta Yönlendirme Dağılım Fonksiyonları (ODF) adı verilen yeni bir temsil yöntemine yol açar. ODF'ler, her noktanın etrafındaki küreyi önceden belirlenmiş yönlere göre koniler kümesine böler ve her konideki noktaların yoğunluğunu hesaplarak elde edilebilir. Temsil gücünü artırmak için, örtüşen koniler de kullanılır. Nokta bulutu analiz ağ modeli tasarımında, nokta bulutunun yerel komşuluk yapısını özlü bir şekilde özetlemek için ODF'leri kullanıyoruz. ODF'lerin (Oryantasyon Dağılım Fonksiyonları) ilham kaynağı, Diffüzyon MRI alanından gelmektedir, özellikle beyindeki su difüzyonunu karakterize etmek için kullanılan oryantasyonel olasılık dağılım fonksiyonları kavramından kaynaklanmaktadır. Diffüzyon MRI alanındaki önceki çalışmalar, bu oryantasyonel olasılık dağılım fonksiyonlarını beyin dokusundaki difüzyon desenlerini modellemek ve analiz etmek için kullanmıştır. Biz bu kavrama dayanarak, nokta bulutu işleme alanına uyarlayarak ODF'leri kullanırız, ODF'ler aracılığıyla nokta bulutları içindeki oryantasyonel özgül bilgiyi yakalayıp temsil ederiz. Diffüzyon MRI'da kullanılan ODF'ler, heterojen yerel doku mikroyapısını modellemek ve birden çok aksonal lif popülasyonunun varlığını yakalamak için tasarlanmıştır. Nokta bulutları bağlamında, dolaylı bir benzetme, her bir noktanın oryantasyon dağılımlarının oluşturulmasıyla ilgilidir. Bu oryantasyon dağılımları, farklı yönlere doğru noktaların dağılımı hakkında bilgi sağlar ve böylece 3D şeklin yerel geometrisinin birden fazla yönde çözülmesine yardımcı olur. Oryantasyon özgül bilgisini dahil ederek, ODF'ler nokta bulutlarının yerel yapısını analiz etmek ve yorumlamak için güçlü bir araç sunar. Nokta bulutları için her bir nokta etrafında bir konik komşuluk tanımnaıp ve bu komşuluk içinde belirli oryantasyonlara veya açı aralıklarına düşen noktaların sayısını hesaplanabilir. Birden çok oryantasyonda yerel konik komşuluk içindeki noktaların sayısını hesaplamanın yanı sıra, aynı zamanda bir hiyerarşiye sahip ölçekler üzerinde yerel nokta yoğunluğu bilgisini de yakalamayı amaçlıyoruz. ODF'leri hesaplamak için üç ana prensip, konik tanımı, konik hizalaması ve sayma işlemidir. Önceden tanımlanan yönlendirme vektörlerine göre, hayali bir küreyi bu vektörleri koni yüksekliği olarak kullanan konilere bölebiliriz. Tıbbi görüntü analizinde olduğu gibi, bu şekilde küre alt bölgelere ayrılır. Bazı çalışmalarda silindir tabanlı bölmeler kullanılsa da, bizim yaklaşımımızda daha verimli bir parselasyon için konik hacimleri tercih ediyoruz. Nokta bulutları için nokta Oryantasyon Dağılım Fonksiyonu (ODF) yaklaşımının temsil kabiliyetinden yararlanmak için çeşitli ODFNet mimarileri tasarladık. Bu ODFNet'ler, ODF'leri ve nokta konumlarını kullanarak nokta bulutlarının hem yerel hem de global özelliklerini yakalar. Özellikle sınıflandırma ve segmentasyon görevleri için uyarlanmışlardır. ODF'leri nokta konumlarıyla birleştirerek, ODFNet'ler nokta bulutlarında bulunan zengin bilgileri hem yerel hem de global ölçekte etkili bir şekilde yakalayabilir. Bu entegrasyon, nokta bulutu verilerinin kapsamlı bir analizini sağlayarak nokta bulutlarındaki nesnelerin doğru sınıflandırılmasını ve segmentasyonunu mümkün kılar. Deney sonuçlarımız, ODFNet'in sınıflandırma ve segmentasyon görevlerinde en son teknoloji performansını elde etmedeki etkinliğini doğrulamaktadır. Özellikle ShapeNet ve S3DIS gibi zorlu segmentasyon görevlerinde ODFNet'in üstün performansı, hipotezimizi destekleyen güçlü kanıtlar sunmaktadır. ODF temsilinin dahil edilmesi, yerel nokta yönelim dağılımı özelliklerini kullanarak nokta bulutu sinir ağı modelleri için son derece faydalı olduğunu kanıtlamaktadır. ODFNet mimarisi, nokta bulutlarında yönelim bilgisini etkili bir şekilde yakalayarak performansı artırır ve temel 3D şekillerin daha doğru temsillerini sağlar. Bu sonuçlar, ODF temelli yöntemlerin nokta bulutu işleme ve analizinde ilerlemeye yönelik potansiyelini daha da vurgulamaktadır. İki nesneyi 3D uzayda hizalamak için her bir nesnenin iki pivot vektörünü eşleştirmemiz ve ODF'leri hesaplamamız gerekmektedir. Bu nedenle, ilk adımda, küresel yapıyı her noktanın üzerine yerleştirmemiz ve hizalamamız gerekmektedir. Küresel yapının hizalanması için [0,0,1] ve [0,1,0] olmak üzere iki bağımsız vektör seçtik. Point cloud işleme için kullandığımız örneklerin z-eksenine hizalandığını varsayarsak, ilk pivot vektörünün eşleşmesi doğal olarak gerçekleşir. Üstü gösteren vektör ([0,0,1]) doğrudan z-eksenine hizalanabilir. İkinci pivot eşleştirmesi için her noktanın en yakın 32 komşusu x-y düzlemine yansıtılır. Ardından, bu yansımaların ortalaması kullanılarak en yüksek nokta yoğunluğuna sahip olan yönlendirme belirlenir. Bu yoğun yönlendirme, noktanın ikinci pivotu olarak seçilir ve küresel yapıdaki [0,1,0] vektörüyle eşleştirilir. Nokta bulutu çakıştırması, birden fazla nokta bulutu arasında rijit dönüşümün hesaplanması ve bunların hizalanması olarak tanımlanabilen bir işlemdir ve robotik, otonom sürüş ve 3D rekonstrüksiyon gibi birçok bilgisayarlı görme görevi için önemli bir problemdir. İteratif En Yakın Nokta (ICP) gibi geleneksel yöntemler ve yalnızca matematiksel kısıtlamaları kullanarak noktadan noktaya veya noktadan düzleme eşleştirme gibi diğer yöntemler, derin özellik temsillerini kullanarak dış aykırıları ve gürültüyü karşı daha sağlam eşleştirme elde etmek için özellik tabanlı metrikleri içeren öğrenme tabanlı yöntemlerle değiştirilmiştir. Önceden bahsedilen yöntemler kullanılarak nokta bulutu kaydı önemli ilerlemeler kaydetmiş olsa da, çoğu (hatta kısmi-kısmi nokta bulutu kaydı dahil olmak üzere) bu yöntemlerin çoğu, ağın kayıt için tüm şekli kullanması üzerinde odaklanmıştır. Ancak, benzer şekilde, bu problem literatürde ele alınmamış olsa da aktif öğrenme kullanılarak da ele alınabilir. Veri kümesini manuel olarak etiketlemek için ayrılan zaman bütçesini azaltmak yerine, asıl hedefimiz ağ modelinin eğitim süresini azaltmaktır. İki nokta bulutu arasındaki rijit dönüşümü öğrenmek, bu nokta bulutlarının yamaları arasındaki dönüşümü öğrenmekle eşdeğerdir, bu nedenle öğrenme prosedürü süper nokta varyantına değiştirilebilir. Benzer özelliklere sahip olan benzer şekilli nokta bulutu yamalarının kullanılması gereksizdir. Bu çalışmada, eğitim süresini azaltmak için bilgilendirici bölgeleri verimli bir şekilde kullanmak için ALReg adlı bir aktif öğrenme yaklaşımı sunuyoruz. Tahminci olarak, temel kayıt ağları Monte Carlo Dropout (MCDO) kullanarak belirsizliği verimli bir şekilde hesaplamak için değiştirilir. Rehber her nokta bulutu için ayrı ayrı çalışır ve verilen bir nokta bulutunun etiketlenmemiş süper noktaları için kazanım skorları hesaplar. Örakül, rehberin seçtiği bir süper nokta sağlar. Temel motivasyonumuz, herhangi bir nokta bulutu kayıt ağı için eğitim aşamasında daha az nokta bulutu veya nokta bulutu parçası kullanarak benzer bir doğruluk puanı elde edilebileceğidir. Bununla birlikte, bu eğitim örneklerinin/parçalarının verimli bir şekilde seçimine bağlıdır. ALReg kullanımıyla, eğitim sürecinde en etkili nokta bulutu parçalarını dahil edilmektedir.

Özet (Çeviri)

This thesis presents two innovative works in the field of point cloud processing: ODFNet and ALReg. The ODFNet work proposes a new method for the classification and segmentation of point clouds, while ALReg aims to facilitate the training of neural networks for point cloud registration using active learning. Convolutional neural networks (CNNs) have been widely used for visual tasks such as object categorization, object detection, and semantic segmentation. However, the application of CNNs to point clouds is a relatively recent development. Notably, there has been no previous approach that specifically utilizes point density information. To enhance the representational power of local features, we propose leveraging the distribution of point orientations within a neighborhood relative to a reference point. This led us to introduce the concept of point Orientation Distribution Functions (ODFs). In order to compute Orientation Distribution Functions (ODFs), our approach involves dividing the spherical region around each point into a set of cones aligned with predefined orientations. Within each cone, we calculate the density of points, resulting in the ODFs for that particular point. These ODF patterns provide valuable information about the spatial structure and orientation characteristics of the objects within the point cloud. The ODFs allow us to summarize the local neighborhood structure of the point cloud in a concise manner, which is beneficial for our point cloud analysis network model design. By incorporating the ODFs, we can effectively capture and utilize the significant local geometric information present in the point cloud, leading to improved performance and accuracy in our analysis tasks. Additionally, we introduce the ODFNet, a neural network model specifically designed for point cloud analysis tasks. The ODFNet utilizes the ODFBlock and ODFs to effectively incorporate the directional information captured by the ODFs. This integration enhances the performance of various tasks, such as classification, segmentation, and other related applications, by leveraging the rich geometric information provided by the ODFs. The experimental results confirm that ODFNet achieves state-of-the-art performance in both classification and segmentation tasks. Point cloud registration, which involves aligning multiple point clouds by calculating the rigid transformation between them, is a crucial task in computer vision. While there have been significant advancements in point cloud registration using various methods, most of them rely on training the network with the entire shape for registration. However, an alternative approach that has not been explored in the literature is active learning, which could also be employed to address this problem. Thus, in this thesis, we also introduce ALReg, an active learning approach aimed at improving the efficiency of point cloud registration by selectively utilizing informative regions to reduce training time. To achieve this, we modify the baseline registration networks by incorporating Monte Carlo DropOut (MCDO) to efficiently calculate uncertainty. Our main objective is to demonstrate that similar accuracy scores can be achieved by using fewer point clouds or parts of point clouds in the training phase of any point cloud registration network, provided that the selection of these training samples/parts is done effectively. By leveraging ALReg, our goal is to incorporate the most effective point cloud parts into the training procedure, thereby improving the efficiency and effectiveness of the registration network.

Benzer Tezler

  1. Tez No

    833504

    Graph-based object classification techniques for autonomous vehicle radar sensors

    Otonom araç radar sensörleri için çizge tabanlı nesne sınıflandırma teknikleri

    RASİM AKIN SEVİMLİ

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiBaşkent Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT ÜÇÜNCÜ

    DOÇ. DR. AYKUT KOÇ

  2. Tez No

    775403

    Investigation of artificial intelligence-based point cloud semantic segmentation

    Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi

    MUHAMMED ENES ATİK

    Doktora

    İngilizce

    İngilizce

    2022

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. ZAİDE DURAN

  3. Tez No

    724947

    Derin öğrenme tekniklerini kullanarak hava lidar nokta bulutlarının sınıflandırılması

    Classification of airborne lidar point clouds using deep learning

    FIRAT URAY

    Doktora

    Türkçe

    Türkçe

    2022

    Jeodezi ve FotogrametriNecmettin Erbakan Üniversitesi

    Harita Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ABDULLAH VARLIK

  4. Tez No

    693110

    Çok katmanlı küresel derinlik parametreleri ve derin öğrenme yöntemleri ile 3B şekil tamamlama ve üretme

    3D shape completion and generation using multilayer spherical depth parameters with deep learning methods

    ABDÜLLATİF AĞCA

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. FATMA BETÜL ATALAY SATOĞLU

  5. Tez No

    581887

    Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models

    Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma

    NEŞE GÜNEŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ULUĞ BAYAZIT

Geri Dön