Lidar nokta bulutlarının semantik segmantasyonu için derin öğrenme tabanlı iyileştirilmiş poıntnet++ mimarisi
An improved deep learning based pointnet++ architecturefor semantic segmentation of lidar point clouds
- Tez No: 797806
- Danışmanlar: PROF. DR. FEVZİ KARSLI
- Tez Türü: Doktora
- Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Karadeniz Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Harita Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 145
Özet
Bu çalışmada, hava LiDAR nokta bulutlarının semantik segmentasyonunda iç mekân nokta bulutları için tasarlanmış, nokta bulutlarını doğrudan işleyebilen ve bu alanda öncü bir 3B Derin Sinir Ağı (DNN) mimarisi olan PointNet++ kullanılmıştır. Öncelikli olarak PointNet++ mimarisi çoklu sınıf arazi örtüsü ve iki sınıflı zemin/zemin-üstü problemlerinin semantik segmentasyonu için büyük ölçekli hava LiDAR nokta bulutlarına uyarlanmıştır. Mimariyi değişken nokta yoğunluğuna karşı daha kararlı hale getirebilmek amacı ile mimarinin orijinal yığın toplama stratejisi yerine nokta yoğunluğuna adapte olabilen Adaptif 1 ve Adaptif 2 isminde iki yeni yaklaşım önerilmiştir. Ayrıca, mimarinin farklı gruplama katmanlarını birleştiren yeni bir hibrit model geliştirilerek işleme süresi ve performansı açısından avantaj ve dezavantajları değerlendirilmiştir. Tez kapsamında, komşuluk arama yarıçap seçimini başlangıç değer için otomatize edebilen bir yaklaşım da önerilmiştir. Bunların yanı sıra, yoğunluk, geri dönüş sayısı ve dönüş numarası gibi ek ham özniteliklerin mimarinin performansı üzerine olan etkileri de irdelenmiştir. Önerilen yaklaşımların semantik segmentasyon performansları ISPRS Vaihingen, DALES, düzensiz DALES ve OpenGF nokta bulutu veri setleri üzerinde araştırılmıştır. Özellikle nokta yoğunluğu değişkenliğinin fazla olduğu OpenGF test veri setleri üzerinde orijinal mimariye göre ağırlıklı ortalama kesişim-birleşim oranı (mIoU) metriği Adaptif 1 yaklaşımı ile %17'ye ve Adaptif 2 yaklaşımı ile %11'e varan iyileşme göstermiştir. Adaptif 1 ve Adaptif 2 yaklaşımları sayesinde düzensiz DALES veri seti üzerinde mIoU doğruluklarında sırası ile %1 ve %3 performans artışı sağlanmıştır. Adaptif 1 ve Adaptif 2 yaklaşımlarının genelleştirme kabiliyetleri test edilerek orijinal mimariye göre doğruluk düzeylerinde sırasıyla yaklaşık %3 ve %5 oranında iyileşme sağladığı tespit edilmiştir. Bu yaklaşımlar sayesinde mimarinin deneme yanılma yöntemi ile parametre seçimine olan ihtiyacı büyük oranda ortadan kaldırılmıştır. Mimari, değişken nokta yoğunluğuna ve parametre seçimine karşı daha kararlı bir hale getirilmiştir.
Özet (Çeviri)
PointNet++, a 3D Deep Neural Network (DNN) architecture that can directly process point clouds and is designed for indoor point clouds, is used for the semantic segmentation of Airborne Laser Scanning (ALS) point clouds. Initially, the PointNet++ architecture is adapted to large-scale airborne LiDAR point clouds for multi-class land cover and binary ground/non-ground semantic segmentation tasks. Two new approaches, called Adaptive 1 and Adaptive 2, are proposed to make the architecture more robust against varying point densities by adapting to point density instead of using the original bacthing strategy. Furthermore, a new hybrid model that combines different grouping layers of the architecture is developed and evaluated in terms of processing time and semantic segmentation performance. In addition, an approach is proposed to automate the selection of the initial value for the neighborhood search radius. Also, the effects of additional raw attributes such as intensity, return number and number of returns on the performance of the architecture are investigated. The semantic segmentation performances of the proposed approaches are evaluated on ISPRS Vaihingen, DALES, irregular DALES, and OpenGF point cloud datasets. Specifically, on the OpenGF test datasets with high point density variation, the architecture's weighted average Intersection over Union (mIoU) accuracy has improved by up to 17% with the Adaptive 1 approach and 11% with the Adaptive 2 approach. Adaptive 1 and Adaptive 2 approaches have achieved performance increases of 1% and 3% in mIoU accuracy on the irregular DALES dataset, respectively. The results show that the Adaptive 1 and Adaptive 2 approaches improve the generalization ability of the PointNet++ architecture for mIoU by approximately 3% and 5%, respectively. These proposed approaches significantly reduce the need for trial-and-error parameter selection while making the architecture more robust against both point sampling and parameter selection.
Benzer Tezler
- Investigation of artificial intelligence-based point cloud semantic segmentation
Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi
MUHAMMED ENES ATİK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN
- Spectral graph based approach for analysis of 3D LIDAR point clouds
3 boyutlu LIDAR nokta bulutlarının analizinde spektral çizge temelli yaklaşım
EDA BAYRAM
Yüksek Lisans
İngilizce
2017
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH AYDIN ALATAN
YRD. DOÇ. DR. ELİF VURAL
- Derin öğrenme tekniklerini kullanarak hava lidar nokta bulutlarının sınıflandırılması
Classification of airborne lidar point clouds using deep learning
FIRAT URAY
Doktora
Türkçe
2022
Jeodezi ve FotogrametriNecmettin Erbakan ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULLAH VARLIK
- Hava LiDAR nokta bulutundan köprülerin ve üst geçitlerin otomatik çıkarımı
Automatic extraction of bridges and footbridges from airborne LiDAR point cloud
MURAT ERSİN KORKMAZ
Yüksek Lisans
Türkçe
2019
Jeodezi ve FotogrametriKonya Teknik ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
DOÇ. DR. CİHAN ALTUNTAŞ
- Tarihi yapıların dokümantasyonunda lazer ve görüntü tabanlı nokta bulutlarının birlikte kullanılması
Combined use of laser and image-based point clouds for documentation of historic buildings
YASİN TOSUN
Yüksek Lisans
Türkçe
2016
Jeodezi ve FotogrametriAfyon Kocatepe ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT UYSAL