3B nokta bulutlarının derin öğrenme yöntemiyle semantik segmentasyonu
Semantic segmentation of 3D point clouds using deep learning methods
- Tez No: 720977
- Danışmanlar: DOÇ. DR. CANER GÜNEY
- Tez Türü: Yüksek Lisans
- Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 111
Özet
Üç boyutlu (3B) kent modelleri, kentsel alanlarda yaşanabilecek değişimlerin 3B olarak izlenmesi, kent çevre ilişkisinin modellenmesi ve kentsel simülasyon uygulamaları için altyapı sağlayarak mekansal planlama çalışmaları için veri temelli karar verme süreçlerinin geliştirilmesine olanak tanımaktadır. Söz konusu modelleri geliştirilmesi için; detay düzeyi uygulama amaçlarına bağlı olarak değişen, yüksek doğruluklu, güncel ve büyük miktarda 3B mekansal bilgiye gereksinim duyulmaktadır. Lazer tarama, görüntüleme ve yer gözlem uyduları gibi veri elde etme teknikleri ile fotogrametri ve bilgisayarlı görü alanlarındaki veri değerlendirme yöntemlerine ilişkin yaşanan gelişmeler 3B mekansal bilginin nokta bulutu biçiminde doğrudan ölçme ile ya da başka veri kaynaklarından türetme yolu ile üretilmesine olanak sağlamıştır. 3B nokta bulutları günümüzde klasik kullanım alanları olan ölçme ve planlama çalışmaları haricinde robotik, otonom mobilite, 3B modelleme ve dijital ikiz oluşturma gibi yüksek teknolojili ve katma değerli uygulamalara olanak tanımaktadır. Kent ölçeğinde ve yüksek çözünürlüklü bu veri kaynağının klasik yaklaşımlarla yönetilmesi ve işlenmesi pek mümkün olamamaktadır. Öte yandan derin öğrenme yaklaşımları büyük veriden modern hesaplama donanımları kullanılarak derin yapay sinir ağlarının eğitilmesini sağlayacak bir paradigma değişimi getirmiştir. Derin öğrenme sayesinde sınıflandırma, nesne yakalama ve segmentasyon görevlerinin veri işlem süreçlerinin otomasyonu amacıyla yerine getirilmesi için geçmişe nazaran çok daha güçlü çözümler elde edilebilir hale gelmiştir. Bu çalışmada, 3B nokta bulutlarından derin öğrenme alanının gelişimi incelenmiş, bu modelleri kıyaslamada kullanılabilecek değerlendirme ölçütleri, araştırma grupları tarafından kabul görmüş açık veri setleri, 3B nokta bulutlarını işlemek için mevcut açık kaynaklı derin öğrenme yazılım kütüphanesi, performans yarışmaları tanıtılmıştır. 3B nokta bulutlarının semantik segmentasyonu için yararlanılabilecek modern bulut bilişim olanakları araştırılmıştır. Eğitim sürecini yürütmek için gereksinimler belirlenmiş ve çözüm önerileri geliştirilmiştir. Bulut bilişim imkanları kullanılarak derin öğrenme için oluşturulan bir geliştirme ortamında bir segmentasyon modelinin eğitim ve test süreci uygulama olarak gerçekleştirilmiştir. Yapılan literatür taraması ve yürütülen derin öğrenme ağının eğitimi süreci sonucunda 3B nokta bulutlarından derin öğrenme çalışmalarında 3B şehir modelleme ve diğer pek çok farklı uygulama alanının 3B uzamsal veri gereksinimini gerçek zamanlı olarak dahi karşılayabilecek çözümler geliştirildiği görülmüştür. Bu çözümlerden yararlanmak için ise yüksek performanslı hesaplama donanımlarına erişime ve açık kaynaklı derin öğrenme yazılım kütüphaneleri ile 3B nokta bulutundan derin öğrenme çalışmalarında geliştirilen yazılımlardan oluşan bir dizi teknolojiyi uyumlu biçimde bir araya getirme becerisine sahip olunması gerektiği görülmüştür.
Özet (Çeviri)
3D city models play an integral role for enabling data driven decision making processes in spatial planning field by providing an infrastructure for urban monitoring and simulation applications such as 3D change detection, utility planning, crisis and emergency management, estimation of solar irradiation, energy demand estimation. Generation of such models require large scale, accurate and up-to-date 3D data at different levels of detail. Advancements on acquisition techniques like laser scanning, imaging, earth observation and data processing fields of photogrammetry and computer vision facilitated collection of large amounts of accurate 3D data rapidly in the form of point clouds by direct acquisition as well as generation from other resources like stereo images and alike. Today 3D points clouds, while enhancing their well-known use cases of surveying and planning, are enabling, enabling and accelerating more value added high tech sectors like autonomous mobility, robotics, 3D modeling and digital twin building. This kind of large scale and high resolution data arise challenges for both manual and automated analysis using classical approaches. On the other hand advent of deep learning introduced a paradigm shift in terms of handling and using of large scale data by utilizing them with increased computing power of modern hardware to train deep neural networks for obtaining much more potent descriptors than prior handcrafted counterparts for classifying, detecting and segmenting inputs to automate data analysis pipelines. In this study, a historical review of recently developing field of deep learning for 3D point cloud analysis has been presented, evaluation metrics, popular open datasets, available open source deep learning libraries for processing 3D point clouds and benchmarks have been introduced. Modern cloud computing capabilities that can be utilized for training 3D point cloud deep learning models have been inspected. Requirements for establishing a healthy training process have been detected and possible solutions have been suggested. Practical application of training a state-of-the art solution concerning 3D semantic segmentation have been conducted by utilizing cloud development environment that have been architectured. Conducted literature review and executed deep learning training process showed that although there exists deep learning solutions that may accomodate for 3D spatial information requirements for 3D city modeling and other application areas, even in real time. Utilizing from those came out to be heavily dependent upon being able to access high performance computing hardware and ability to formulate a solution regarding integration of different software and tech stacks concerning open source deep learning frameworks and specialized software components.
Benzer Tezler
- Deep learning-based techniques for 3D point cloud analysis
3B nokta bulutu analizi için derin öğrenme temelli teknikler
YUSUF HÜSEYİN ŞAHİN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Development of a deep learning approach for 3dimensional point cloud classification
3 boyutlu nokta bulutlarının sınıflandırılması için derin öğrenme yaklaşımı geliştirilmesi
ERAY SEVGEN
Doktora
İngilizce
2024
Jeodezi ve FotogrametriHacettepe ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SAYGIN ABDİKAN
- Derin öğrenme tekniklerini kullanarak hava lidar nokta bulutlarının sınıflandırılması
Classification of airborne lidar point clouds using deep learning
FIRAT URAY
Doktora
Türkçe
2022
Jeodezi ve FotogrametriNecmettin Erbakan ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULLAH VARLIK
- Investigation of artificial intelligence-based point cloud semantic segmentation
Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi
MUHAMMED ENES ATİK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN
- Derin öğrenme ile nokta bulutu üzerinden bina çatı tiplerinin sınıflandırılması
Classification of building roof types through point cloud with deep learning
MERVE YILDIRIM
Yüksek Lisans
Türkçe
2022
Jeodezi ve FotogrametriKaradeniz Teknik ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
PROF. DR. FEVZİ KARSLI