Geri Dön

Makine öğrenmesi yöntemleri kullanılarak üç boyutlu nokta bulutlarının sınıflandırılması

Classification of three-dimensional point cloud via machine learning methods

PDF İndir

  1. Tez No: 856753
  2. Yazar: KORAY AKSU
  3. Danışmanlar: PROF. DR. HANDE DEMİREL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mimarlık, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Architecture, Engineering Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 81

Özet

Farklı mekansal veri elde etme yöntemleri ile elde edilen nokta bulutları, veri elde etme hızı, geniş kapsama alanı, yüksek doğrulukta üç boyutlu geometrik ve semantik bilgi sağlaması nedeniyle çok disiplinli çalışmalar olan tesis yönetimi, yapı bilgi modeli ve dijital dönüşüm konularında sıklıkla tercih edilmekte ve kullanılmaktadır. Görsel olarak başarılı ve hızlı analiz kabiliyeti sunan nokta bulutları, bu tür uygulamalar için gerekli olan yapı elemanlarının geometrik yapısını elde etme aşamasında, uzmanlık, yoğun iş gücü ve yüksek donanım kapasitesi gerektirmektedir. Nesne çıkarımının makina öğrenmesi ve bilgisayarla görü temelli gerçekleştirilmesi, sürecin daha hızlı ve otomatize bir şekilde yapılmasına olanak sağlamaktadır. Bu amaç doğrultusunda, güncel çalışmalarda farklı makina öğrenme modelleri ile iç mekanlara ait nokta bulutu verilerine sınıflandırma işlemi uygulanarak bilgi çıkarımı yapılmakta ve süreçlerin otomatize hale getirilerek zaman, iş gücü, maliyet bakımından kazanç sağlanmaktadır. Bu tez çalışması kapsamında; yapay sinir ağları, gradyan artırma ve karar ağacı tabanlı makine öğrenme modelleri kullanılarak, yapı elemanları olan duvar, kolon, kiriş, kapı, pencere ve yapı içerisinde bulunan diğer nesnelerin nokta bulutundan tespit edilerek dijital dönüşüm süreci ve yapı bilgi modeli üretimi için yöntem ve veri seti altyapısının oluşturulması amaçlanmıştır. Bu kapsamda çalışma bölgesi olarak İstanbul Teknik Üniversitesi, İnşaat Fakültesi'nde bulunan iki koridor seçilerek yersel lazer tarama yöntemiyle nokta bulutu verileri elde edilmiştir. Lazer tarama işlemleri Leica C10 model yersel lazer tarayıcı ile fotoğraflı olarak gerçekleştirilmiş olup, 19 oturumda tamamlanmıştır. Ortalama oturum süresi 25 - 35 dakikadır. Her oturumda ortalama 15 milyon nokta ve 260 fotoğraf elde edilmiştir. Sonraki aşamada, nokta bulutu verilerine ön işleme adımları uygulanmıştır. Ön işleme aşamasında ilk olarak, Yinelemeli En Yakın Nokta algoritmasi kullanılarak nokta bulutları birleştirilmiştir. Ardından, farklı çevresel etkiler nedeniyle nokta bulutunda oluşan gürültüler İstatistiksel Aykırı Değer Çıkarma yöntemiyle filtrelenmiştir. Gürültü filtresi uygulandıktan sonra voksel tabanlı alt örnekleme uygulanarak veri yoğunluğu azaltılmıştır. Ön işleme aşamasından sonra nokta bulutu üzerinde üç boyutlu olarak etiketleme yapılarak model eğitiminde kullanılacak referans sınıf değerleri üretilmiştir. Bu aşamadan sonra model eğitiminde kullanılacak olan özellikler belirlenmiş ve model performansının artırılması amaçlanarak yeni özellikler üretilmiştir. İlgili özellikler noktalara ait geometrik ve geometrik olmayan bilgileri içermektedir. Geometrik özellikler; noktalara ait üç boyutlu koordinat bilgileri (X, Y, Z), yüzey normalleri ve özdeğerlere göre üretilen özdeğer tabanlı geometrik özelliklerdir. Geometrik olmayan özellikler ise, noktalara ait renk bilgisi (R, G, B) ve yoğunluk değerleridir. Özdeğer tabanlı geometrik özellikler noktaların yerel komşuluk ilişkisine göre hesaplanan özdeğerlere göre çıkarılmakta olup nesnelerin geometrisine ait önemli bilgiler (doğrusallık, küresellik, düzlemsellik vb.) içermektedir. Özdeğer hesaplanmasında kullanılan yerel komşuluk yarıçapının seçimi model performansı açısından önem arz etmektedir. Özdeğerlerden üretilen geometrik özelliklerin her biri farklı bir geometrik yapıyı temsil ettiği için her özellik için farklı yerel komşuluk yarıçapının belirlenmesi gerekmektedir. Bu amaç doğrultusunda, 2 cm – 150 cm aralığındaki 55 farklı yerel komşuluk yarıçapına göre özdeğer üretimi gerçekleştirilmiştir. İlgili özdeğerler kullanılarak dokuz adet geometrik elde edilmiştir. Sonraki aşamada, nokta bulutu eğitim ve test bölgelerine ayrılmıştır. Her iki bölgede de sınıf ve koridor bulunmakta olup eğitim veri setinin %80'i eğitim %20'si ise doğrulama için ayrılmıştır. Model eğitimi için gerekli veri setleri üretildikten sonra normalizasyon uygulanarak veri setleri ölçekten bağımsız hale getirilmiştir. Ayrıca sınıf değerlerini temsil eden noktaların sayısı eşit olmadığı için veri setinde dengeleme yapılarak eğitim veri setinde bulunan her sınıf değerinin nokta sayısı 300 000 olarak yeniden örneklenmiştir. Bu aşamalar gerçekleştirildikten seçilen modeller ile eğitimler gerçekleştirilmiştir. Model eğitimleri için TÜBİTAK ULAKBİM Yüksek Başarımlı ve Grid Hesaplama Merkezi'nde bulunan Barbun kümesi kullanılmış olup her eğitim için 12 çekirdek ve 1 düğüm kullanılmıştır. Eş zamanlı eğitim sayısı ise 14'tür. Çalışmada üç farklı analiz yapılmıştır. İlk iki analizde model sonuçları eğitim süresi ve performans açısından değerlendirilmiştir. Üçüncü analizde ise, en yüksek genel ortalama doğruluğa sahip olan model SHAP değerleriyle yorumlanarak özelliklerin sınıflandırmaya olan etkileri incelenmiştir. İlk analizde, uygun yerel komşuluk yarıçapı seçiminin model performansına etkisinin belirlenmesi amaçlanmıştır. Burada, öncelikle sabit yerel komşuluk yarıçapları (20 cm, 40 cm, 60 cm, 80 cm, 100 cm) ile üretilen özdeğer tabanlı geometrik özellikler ile diğer özellikler kullanılarak model eğitimleri gerçekleştirilmiştir. Ardından, ki-kare hipotez testi kullanılarak her özdeğer tabanlı geometrik özellik için uygun yerel komşuluk yarıçapı belirlenmiştir. İlgili yarıçaplara göre üretilen özdeğer tabanlı geometrik özellikler ile diğer özelliklerin kombinasyonu kullanılarak model eğitimleri gerçekleştirilmiştir. Elde edilen sonuçlara göre en yüksek genel ortalama doğruluk, ki-kare hipotez testi ile belirlenen yerel komşuluk yarıçapları kullanılarak üretilen geometrik özellikler ile diğer özelliklerin kombinasyonunun Rastgele Orman yöntemi ile eğitilmesi sonucunda elde edilmiştir. İlgili modelin genel ortalama doğruluğu %80.06 olup eğitim süresi 138 saniyedir. Modelin hata matrisi incelendiğinde; kiriş, kolon, kapı, diğer ve pencere sınıflarına ait noktaların bir kısmının duvar olarak tahmin edildiği, masa/sıra sınıfına ait noktaların ise zemin olarak tahmin edildiği, tavan, zemin, aydınlatma ve duvar sınıflarının ise diğer sınıflarla karışmadığı gözlenmiştir. İşlem süresi ve genel ortalama doğruluk dikkate alındığında ise, ki-kare hipotez testi ile belirlenen yerel komşuluk yarıçapları kullanılarak üretilen geometrik özellikler ile diğer özelliklerin LightGBM modeli ile eğitilmesi ile elde edilen sonuçlar ön plana çıkmaktadır. İlgili modelde genel ortalama doğruluk değeri %78.40 olup eğitim süresi 53 saniyedir. Modelin hata matrisine göre; kiriş, kolon, kapı, diğer ve pencere sınıflarına ait noktaların bir kısmının duvar olarak tahmin edildiği, masa/sıra sınıfına ait noktaların ise zemin sınıfı olarak tahmin edildiği, tavan, zemin, aydınlatma ve duvar sınıflarının ise diğer sınıflarla karışmadığı gözlenmiştir. İkinci analizde, farklı özellik kombinasyonları kullanılarak özelliklerin model doğruluğuna olan etkileri incelenmiştir. Bu kapsamda dört farklı özellik kombinasyonu oluşturulmuştur. İlk kombinasyonda tüm özellikler kullanılarak model eğitimi gerçekleştirilmiştir. İkinci kombinasyonda ki-kare özellik seçimi uygulanarak modelde bulunan 19 özellik içerisinden en önemli 10 özellik seçilmiştir. Üçüncü kombinasyonda, renk ve yoğunluk bilgileri dahil edilmeden model eğitimi gerçekleştirilmiştir. Dördüncü kombinasyonda ise, özdeğerler kullanılarak üretilen geometrik özellikler kullanılmadan model eğitimleri gerçekleştirilmiştir. Tüm özellikler kullanılarak eğitilen model diğer özellik kombinasyonları için karşılaştırma modeli olarak kullanılmıştır. Ki-kare özellik seçimi ile belirlenen 10 özelliğin kullanım durumunda, MLP modelinin genel ortalama doğruluğu %8.68, XGBoost modelinin %4.41, CatBoost modelinin %4.17 ve RF modelinin %2.03 artış gösterirken LightGBM modelinin genel ortalama doğruluğu %3.69 azalış göstermiştir. Renk ve yoğunluk değerlerinin kullanılmadığı durumda genel ortalama doğruluk değerinde, MLP modelinde %2.52, XGBoost modelinde %2.36, CatBoost modelinde %1.38, LightGBM modelinde %2.51 ve RF modelinde %1.07 azalış meydana gelmiştir. Özdeğer tabanlı geometrik özelliklerin kullanılmadığı durumda genel ortalama doğruluk değerinde, MLP modelinde %25.43, XGBoost modelinde %10.97, CatBoost modelinde %8.32, LightGBM modelinde %8.71 ve RF modelinde %9.88 azalış olduğu gözlenmiştir. Dört farklı özellik kombinasyonu içerisinde en yüksek genel ortalama doğruluk değeri ki-kare hipotez testi ile belirlenen yerel komşuluk yarıçapları kullanılarak üretilen geometrik özellikler ile diğer özelliklerin CatBoost modeli ile eğitilmesi ile sonucunda elde edilmiştir. İlgili modelin genel ortalama doğruluk değeri %82.87, eğitim süresi ise 707 saniyedir. Hata matrisi incelendiğinde; kiriş, kolon ve diğer sınıfının bir bölümünün duvar olarak tahmin edildiği, masa/sıra ve pencere sınıfının bir bölümünün ise diğer sınıfı ile karıştığı gözlenmiştir. Üçüncü analizde, CatBoost modeli SHAP değerleriyle yorumlanmıştır. Yapılan incelemeye göre yükseklik (Z) ve dikeylik özelliğinin model üzerindeki ortalama etkisinin oldukça yüksek olduğu, mavi bant ve doğrusallık özelliğin etkisinin oldukça düşük olduğu gözlenmiştir.

Özet (Çeviri)

Point clouds obtained by different spatial data acquisition methods are frequently preferred and used in multi-disciplinary applications which are facilities management, building information models, and digital transformation, due to data acquisition speed, wide-coverage, high-fidelity three-dimensional geometric and semantic information. Point clouds offer visually successful and fast analysis capability, but require expertise, intensive labor, and high hardware capacity in the stage of obtaining the geometric structure of the structural elements for such applications. Object extraction based on machine learning and computer vision allows the process to be done faster and more automatically. For this purpose, in current studies, information is extracted by applying the classification to the point cloud data of indoor spaces with different machine learning models, and by automating the processes, gains in terms of time, labor, and cost are achieved. Within the scope of this thesis; method and dataset for the digital transformation process and building information model generation by detecting building elements such as walls, columns, beams, doors, windows, and other objects in the building from the point cloud using artificial neural networks, gradient boosting and decision tree-based machine learning models. infrastructure is intended. In this context, point cloud data were obtained by terrestrial laser scanning method by choosing two corridors in Istanbul Technical University, Faculty of Civil Engineering as the study area. Laser scanning processes were carried out with a photographs Leica C10 model terrestrial laser scanner and were completed in 19 sessions. The average duration of each session is 25 - 35 minutes. An average of 15 million points and 260 photographs were obtained in each session. In the next step, preprocessing steps were applied to the point cloud data. In the preprocessing stage, firstly, point clouds are registered in a local coordinate system using the Iterative Nearest Point algorithm. Then, the noises generated due to different environmental effects were filtered by the Statistical Outlier Extraction method. After applying the noise filter, the data density was reduced by applying a voxel-based subsampling method. After the preprocessing stage, three-dimensional labeling was done on the point cloud, and reference class values to be used in model training were produced. After this stage, the features to be used in model training were determined and new geometric features were generated to increase model performance. These features include geometric and non-geometric information of points. geometric features; The three-dimensional coordinate information of the points (X, Y, Z), surface normals, and covariance geometric properties produced according to the eigenvalues. Non-geometric features are the color information (R, G, B) and intensity values of the points. Covariance geometric features are generated using the eigenvalues calculated according to the local neighborhood relationship of the points and contain important information about the geometry of the objects (linearity, sphericity, planarity, etc.). The choice of the local neighborhood radius used in the eigenvalue calculation is important in terms of model performance. Since each of the covariance geometric features produced from the eigenvalues represents a different geometric structure, different local neighborhood radius should be determined for each geometric feature. For this purpose, eigenvalues were produced according to 55 different local neighborhood radii between 2 cm and 150 cm. Nine geometric features were obtained by using the relevant eigenvalues. In the next step, the point cloud is split into training and test regions. There are classrooms and corridors in both regions, and 80% of the training dataset is used for training and 20% for validation. After producing the necessary datasets, the datasets were made independent of the scale by applying normalization. In addition, since the number of points representing the class values was not equal, the number of points of each class value in the training data set was resampled as 300,000 by balancing the dataset. After these stages were carried out, the training was carried out with the selected models. For model training, the Barbun cluster in TUBITAK ULAKBIM High Performance and Grid Computing Center was used, and 12 cores and 1 node were used for each training. The number of simultaneous training is 14. Three different analyzes were conducted. In the first two analyzes, the model results were evaluated in terms of training time and performance. In the third analysis, the model with the highest overall average accuracy was interpreted with the SHAP values and the effects of the features on the classification were examined. In the first analysis, the aim was to determine the impact of appropriate local neighborhood radius selection on model performance. Here, model training was performed using covariance geometric features and other features generated with constant local neighborhood radius (20 cm, 40 cm, 60 cm, 80 cm, 100 cm). Then, the appropriate local neighborhood radius for each covariance geometric feature was determined using the chi-square hypothesis test. Training sessions were conducted using a combination of covariance geometric properties and other features based on relevant local neighborhood radius. According to the results, the highest mean average accuracy was obtained as a result of training the combination of geometric features and other features produced using the local neighborhood radius determined by the chi-square hypothesis test with the Random Forest method. The mean average accuracy of the relevant model is 80.06% and the training time is 138 seconds. When the confusion matrix of the model is examined; It has been observed that some of the points belonging to the beam, column, door, other, and window classes are estimated as walls, the points belonging to the table/row class are estimated as the floor, and the ceiling, floor, lighting and wall classes do not mix with other classes. Considering the training time and overall average accuracy, the results obtained by training the geometric features and other features produced by using the local neighborhood radius determined by the chi-square hypothesis test with the LightGBM model come to the fore. In the related model, the mean average accuracy value is 78.40% and the training time is 53 seconds. According to the confusion matrix of the model; It has been observed that some of the points belonging to the beam, column, door, other, and window classes are estimated as walls, the points belonging to the table/row class are estimated as the floor class, and the ceiling, floor, lighting and wall classes do not mix with other classes. In the second analysis, the effects of features on model accuracy were investigated by using different feature combinations. In this context, four different feature combinations were created. In the first combination, model training was carried out using all features. Chi-square feature selection was applied in the second combination, and the 10 most important features were selected from 19 features in the model. In the third combination, model training was performed without including color and density information. In the fourth combination, model training was carried out without using geometric features produced via eigenvalues. The model trained using all features was used as a comparison model for other feature combinations. In the case of using the 10 features determined by the chi-square feature selection, the mean average accuracy of the MLP model increased by 8.68%, the XGBoost model increased by 4.41%, the CatBoost model increased by 4.17% and the RF model increased by 2.03%, while the mean average accuracy of the LightGBM model decreased by 3.69%. In the absence of color and intensity values, the mean average accuracy decreased by 2.52% in the MLP model, 2.36% in the XGBoost model, 1.38% in the CatBoost model, 2.51% in the LightGBM model and 1.07% in the RF model. In the absence of covariance geometric features, the mean average accuracy decreased by 25.43% in the MLP model, 10.97% in the XGBoost model, 8.32% in the CatBoost model, 8.71% in the LightGBM model and 9.88% in the RF model. The highest mean average accuracy value among four different feature combinations was obtained by training the geometric features and other features produced using the local neighborhood radius determined by the chi-square hypothesis test with the CatBoost model. The mean average accuracy of the relevant model is 82.87%, and the training time is 707 seconds. When the confusion matrix is examined; It was observed that a part of the beam, column, and other class was predicted as a wall, and a part of the table/row and window class mixed with the other class. In the third analysis, the CatBoost model was interpreted with SHAP values. According to the examination, it was observed that the average effect of the height (Z) and verticality feature on the model was quite high, and the effect of the blue band and linearity feature was quite low.

Benzer Tezler

  1. Tez No

    899337

    Development of a deep learning approach for 3dimensional point cloud classification

    3 boyutlu nokta bulutlarının sınıflandırılması için derin öğrenme yaklaşımı geliştirilmesi

    ERAY SEVGEN

    Doktora

    İngilizce

    İngilizce

    2024

    Jeodezi ve FotogrametriHacettepe Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SAYGIN ABDİKAN

  2. Tez No

    775403

    Investigation of artificial intelligence-based point cloud semantic segmentation

    Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi

    MUHAMMED ENES ATİK

    Doktora

    İngilizce

    İngilizce

    2022

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. ZAİDE DURAN

  3. Tez No

    856539

    3 boyutlu nokta bulutlarının modellenmesinde metasezgisel yaklaşımlar

    Metaheuristic algorithms to modelling in 3D point clouds

    ÜLKÜ KIRICI YILDIRIM

    Doktora

    Türkçe

    Türkçe

    2024

    Jeodezi ve FotogrametriOndokuz Mayıs Üniversitesi

    Harita Mühendisliği Ana Bilim Dalı

    PROF. DR. YASEMİN ŞİŞMAN

  4. Tez No

    542807

    Gaz türbini kanat ucu geometrisinin aerodinamik ve ısıl optimizasyonu

    Aerothermal optimization of axial gas turbine blade tip geometry

    HIDIR MARAL

    Doktora

    Türkçe

    Türkçe

    2018

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ LEVENT ALİ KAVURMACIOĞLU

  5. Tez No

    810052

    Integrating a scale transition system into the scan-to-HBIM process

    Taramadan tarihi yapı bilgi modeline geçişte ölçekler arası ilişkilerin bütünleştirilmesi

    BERKAY ÖZTÜRK

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU

Geri Dön