Semantic segmentation of historic dome systems considering part-whole relations
Tarihi kubbe sistemlerinin parça bütün ilişkileri gözetilerek anlamsal bölütlenmesi
- Tez No: 928030
- Danışmanlar: PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Mimarlık, Architecture
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilişim Ana Bilim Dalı
- Bilim Dalı: Mimari Tasarımda Bilişim Bilim Dalı
- Sayfa Sayısı: 155
Özet
Bu çalışma Anadolu'da bulunan tarihi yapılarının kubbelerini oluşturan ve destekleyen yapısal elemanların parça bütün ilişkisine göre anlamsal bölütlenmesi bağlamında farklı derin öğrenme yaklaşımlarının etkilerini incelemektedir. Kültürel mirasın belgelenmesi, mimari elemanların yüksek doğruluk oranıyla ve gerekli olan tüm bilgilerle kayıt altına almaya odaklanan detaylı bir süreçtir. Bununla birlikte, geleneksel belgeleme yöntemleri çalışılan geometrilerin düzensizliği, özgünlüğü, kullanılan araçların veya yöntemlerin hata payına izin verir olması ve insan kaynaklı oluşabilecek aksaklıklardan ötürü hataya açıktır. Fotogrametri ve lazer tarama tabalı araçlar, belgelenenen parçaların üç boyutlu temsillerini çok düşük hata payıyla dijital ortama aktarsa da elde edilen verinin dolaylı kullanımları iş akışını aksatmakta ve elde edilen modellerin gerçeğe yakınlığını bozmaktadır. Özellikle Miras Yapı Bilgi Modelleme (MYBM) kapsamında, mimari elemanların farklı bilgi katmanları ile eşsiz şekilleri ve deformasyonları korunacak şekilde modellenmesine odaklanan taramadan-YBM'ye aktarılması çalışmaları yüksek doğruluk oranı gerektirmektedir. Nokta bulutu olarak taranmış kültürel miras eserlerinin YBM ortamında temsili sırasında elde edilen veriyi farklı şekillerde işlemek mümkündür. İlk olarak, üç boyutlu veriyi belirli düzelemlere yansıtarak persepektiften arındırılmış referans imajlar geleneksel çizim yöntemlerine benzer bir yaklaşım sunmaktadır. Bu metot, elde edilen verinin olduğu haliyle işlenmesi yerine iş akışına kullancı kontrolünde ek adımlar eklemektedir. Dolayısıyla, iş akışı insan emeğine dayalı olması sebebiyle hataya açıktır. Ek olarak, doğrudan üç boyutlu modellerin kullanılması adına kullanıcı odaklı etiketleme ve gruplama işlemleri gerçekletirilmektedir. Ancak, bu yöntem de kullanıcı odaklı iş akışı sebebiyle emek-yoğun bir süreç oluşturmaktadır. Gerçek dünyadan toplanan verilerin işlenmesi adına yüksek kaliteyle ve istenen bilgiyi koruyacak şekilde süreci standardize etmek adına farklı yaklaşımlar denenmiştir. Geleneksel yöntemlere benzer şekilde elde edilen verinin belirli düzlemlere yansıtılması sayesinde fotoğraflarda olduğu gibi iki boyutlu otomatik sınıflandırma işlemleri uygulanabilmektedir. Ancak bu yaklaşım kaydedilen yapının üç boyutlu ilişkilerini göz ardı etmektedir ve sadece derinliği sınırlı olan düzlemsel alanlarda ya da yüzeylerde anlamlı sonuçlar vermektedir. Diğer bir yandan, süreci anlamlı şekilde otomatize etmek adına farklı makine öğrenmesi algoritmaları üç boyutlu nokta bulutlarının sınıflandırılması amacıyla kullanılmıştır. Özellikle bazı uygulamalar nokların birden çok geometrik özelliğini işlenebilecek istatiksel bir bir bilgi olarak kullanmaktadır ve kaydedilmiş olan nokta bulutlarının kullanışlı şekilde bölütlenmesine imkan tanımaktadır. Yine de süreci yarı otomatik duruma getiren bu yaklaşım genellenebilir olmaktak uzaktır. Belirli bir kültürel miras belgelemesi problemi bağlamında çözümün genellenebilir olması; ayrıştırılması ve tanınması gereken mimari elemanların ilişkilerinin anlamlı şekilde işlenebilir ve deşifre edilebilir olmasıyla ilgilidir. Makine öğrenmesi algoritmalarının daha özelleşmiş bir grubu olan derin öğrenme algoritmaları insanlardaki sinir ağlarına benzer şekilde birbirine bağlı bütünleşik işlemler yaparak kendilerine sunulan örneklem kapsamındaki anlamsal bilgiyi çözümleyebilmektedir. Nokta bulutlarının bağlamsal ilişkiler göz önünde bulundurularak anlamlı sınıflandırılmaları, kültürel miras eserlerinin farklı mimari elemanlara ait noktaları tanıyarak YBM'ye geçiş sürecinin otomatikleştirilmesi açısından önemli bir potansiyel barındırmaktadır. Bu araştırma, tarihi yapıların olduğu gibi modellenmesi kapsamında, yarı otomatik bir iş akışı içerisinde, Anadolu coğrafyasında bulunan tarihi kubbelerinin yapısal elemanlarının ilişkilerinin deşifre edilmesi ve farklı örneklemlerde bu bilginin kullanılması amacıyla derin öğrenme ağlarından faydalanmaktadır. Derin sinir ağları tabanlı anlamsal bölütleme algoritmaları, eğitim için kullanılan verileri inceleme ve modellerdeki parçaların genelleştirilmiş ilişkilerini öğrenme yeteneğine sahiptir. Ağların etkin kullanımı eğitilecek veri kümesinin içeriğinin çeşitliliğine ve örneklerin çokluğuna dayanmaktadır. Ancak, tarihi yapılardan toplanacak örneklerde yeterli varyasyonun bulunmaması, kayıt altına alma işleminin ekonomik açıdan masraflı olması ve uzun süre alması bir kısıt oluşturmaktadır. Bu kısıtı aşmak için Anadolu'daki tarihi örneklere dayandırılarak, kubbe, geçiş elemanı, kemer ve duvardan oluşan dört sınıf yapı elemanı barındıran 1537 adet kubbe sistemi modeli parametrik modelleme araçları kullanılarak Tarihi Kubbe Veri Kümesi (HDD) kapsamında oluşturulmuştur. Modeller kubbe sistemlerinin zemindeki merkezinden fotoğraf çekilerek oluşturulan nokta bulutlarını referans alacak şekilde oluşturulmuştur. Çalışılan detay düzeyinde, renk ve malzeme bilgisinin parametrik modelleme sırasında gerçekçi ve doğru uygulamasının zorluğundan ötürü yalnızca noktaların uzaydaki pozisyonları ve normal bilgileri temsil edilmiştir. Oluşturulan veri seti kullanılarak, farklı veri işleme yaklaşımlarının kubbe sistemi elemanlarının anlamsal bölütlemesine etkilerini değerlendirmek amacıyla dört ayrı türden toplamda altı derin öğrenme ağı eğitilmiştir. Parça bütün ilişkileri, belirli elemanların benzer ilişkiler içerisinde düzenli kullanımı, tasarım, yapım ve belgeleme sırasında net şekilde gözlemlenebilir. Özellikle farklı mimari birimlerin genellikle sıralı ya da birbirine bağlı ilişkileri vardır. Bu düzenli ilişkiler mimari elemanların birbiriyle olan bağlarına dayanmaktadır. Örneğin tarihi yapılarda tuğla birimlerinin belirli geometrik düzenlerde kullanılması farklı yüzeylerde hem fonksiyonel hem de estetik sonuçlar oluşturmasını sağlamıştır. Öte yandan, çoğu derin sinir ağı, anlamlandırılmaya çalışılan sahnelerde nispeten belirsiz sınırlara sahip birim parçalar kullanarak anlamsal ilişkileri çözümler ve geneller. Bu ilişkiler, bağlam farkındalığı olan bölgelsel ve genel ilişkiler olarak tanımlanabilir. Yani, küçük ölçekte nasıl bir ortamda bulunulduğu ve genel ilişki kuralları tanımlanırken büyük ölçekte parçaların birbiriyle olan detay ilişkileri incelenir. Sunulan çalışma çok katmanlı algılayıcı, grafik-tabanlı, ardışık ve transformatör bölütleme algoritmalarının tarihi kubbe sistemi belgeleme sürecinde doğrudan uygulanmasının sonuçlarını incelemektedir. Anlamsal bölütlemenin sonuçlarını değerlendirmek amacıyla hem görsel hem de sayısal sonuçlar sunulmakta ve tartışılmaktadır. Elde edilen sonuçlar arasında karşılaştırma yapabilmek adına birleşimlerin kesişimi, doğruluk, kesinlik, duyarlılık ve F1 skoru kriterleri kullanılmaktadır. Bunlara ek olarak birbiriyle karışan nokta sınıflarının takibini yapabilmek adına karışıklık matrisi kullanılmıştır. Elde edilen görsel sonuçlar sayesinde referans modellerle tahmin sonucu üretilen modeller karşılaştırılarak niteliksel değerlendirmeler gerçekleştirilmektedir. Bu kapsamda, değerlendirme örneklemini genişletmek amacıyla HDD'ye ek olarak Anadolu Selçuklu dönemi eseri olan on bir gerçek kubbe sistemi modeli, fotogrametri yöntemiyle oluşturulmuştur. Oluşturulan gerçek nokta kümeleri bütün modeller ve parçalı modeller olmak üzere iki alt-küme altında incelenmiştir. Bütün modeller, tanımlanan dört sınıfın da büyük eksik parçalar olmadan temsil edildiği, noktaların göreceli olarak dengeli dağıldığı örneklerden oluşmaktadır. Parçalı modeller ise, tanımlanan dört sınıftan bir kısmını içeren, noktaların uzayda standart olmayan yoğunluklarla yerleştiği, belirli yapısal elemanları temsil eden noktalar bulunsa bile alan ya da fotogrametrik modelleme yöntemlerinin kısıtlarından ötürü parçaların bütününün temsil edilemediği, boş bölgeler içeren nokta bulutlarını temsil etmektedir. Özetle, sunulan araştırma, mimari elemanların ilişkilerine dayalı olarak anlamlı ve doğru sonuçlar elde edebilmek için farklı derin öğrenme tabanlı anlamsal bölütleme yöntemlerini anıtsal Anadolu mimarisi kubbe sistemleri özelinde incelemektedir. Ek olarak, araştırma kapsamında, benzer problemlere adapte edilebilecek kubbe sistemi veri kümesi oluşturulmuş ve araştırmanın kapsamına göre özelleştirebilir parametrik modelleme yöntemi sunulmuştur. Sentetik veri ile eğitilen ağlar aynı kümenin test bölümünde ve yüksek kalitedeki bütün modellerde oldukça başarılı yakın sonuç verse de gerçek fotogrametrik verilerle yapılan değerlendirmelerde sonuçlar farklılık göstermektedir. Bu farklılıklar temel olarak, gerçek verilerdeki nokta bulutlarının yoğunluğunun tutarsızlığı, farklı sınıflara sahip noktaların dengesiz dağılımı, parçalı modellerin parça bütün ilişkinin yeterli biçimde deşifre edilememesi, kapı boşluğu, pencere boşluğu gibi detayların sentetik veri kümesinde tanımlanmamış olması, veri kümesinin sadece kare tabana oturan kubbe sistemlerini referans alması, eğitim kümesinin sınırlı çeşitte örnek barındırması, gibi etkenlerden kaynaklanmadır. Devam eden çalışmalar, gerçek modellerde karşılaşılan ve yapısal sınıflardan birine ait olmayan elemanları da barındırabilir, herhangi bir sebeple parçalı olarak elde edilen modellerin anlamlandırılabilmesi için eğitim veri kümesine parçalı veriler de eklenebilir. Bir kubbe sisteminin daha geniş bir bağlamda incelenmesi için eyvan ve tonoz geometrileri plan şemalarına uygun şekilde çalışmaya dahil edilebilir. Çalışma kapsamında tercih edilen detay düzeyine istinaden kullanılmayan renk ve doku bilgisinin parametrik modellere, tarihi yapılardaki bilgiye uygun olacak şekilde işlenmesi çalışılabilir. Ek olarak, mimari elemanların birimlerinin büyüklükleri ve çalışılan detay düzeyleri göz önüne alınarak derin öğrenme ağlarında kullanılan örneklem birimleri üzerinden detaylı analizler gerçekleştirilebilir. Bu tez kapsamında gerçekleştirilen analizler kullanılan ağların doğrudan uygulamasını içermektedir ancak gerçek verilerde karşılaşılan problemlerin giderilebilmesi için sunulan modern ağlardan bir tanesi seçilerek detaylı bir ince ayar çalışması yürütülebilir. Bunlara ek olarak, bu çalışma, taramadan Miras Yapı Bilgi Modellemesi'ne geçiş kapsamında anlamsal bölütlemeye odaklansa da sınıflandırılan nokta bulutlarının kümelenmesi ve mimari elemanların YBM ortamında yeniden oluşturulması nihai sonuç ürün hakkında yönlendirici çıktılar sunabilir.
Özet (Çeviri)
This research investigates the usage of different deep learning methods of semantic segmentation in the context of classifying the parts of the historic domes of Anatolian monumental architecture regarding part-whole relations. Documentation of cultural heritage is a detailed process that focuses on recording the state of the items with high accuracy and all the required information. However, manual documentation techniques are error-prone that lead the human-caused inconsistencies in the collected data. Even though photogrammetry and laser scanning-based tools supply three-dimensional data, the workflows that use the collected data just as a reference for human-involved, re-drawing projects such-as ortho-photo drawings are both time-consuming and error-prone. Particularly, in the Heritage-Building Information Modeling context scan-to-HBIM tasks that focus on modeling the architectural elements with different layers of information by preserving unique shapes and deformations, transferring detailed and unique elements requires precise solutions. The presented study provides a semi-automatic, deep learning-based, as-is modeling workflow that interprets the semantic relations of the structural parts of the domes of historical Anatolian buildings. Deep neural network-based semantic segmentation algorithms can examine the given data and learn the generalized relation of the parts in the scenes. Effective usage of the networks relies on the existence of variants and numerous instances of models in the data set to train. However, the collected real-world data is limited due to the impossibility of capturing the multiple variations of different architectural elements. A synthetic data set, namely, Historic Dome Data Set(HDD) including 1537 models, is created to address this constraint by using the parametric modeling tools referring to the simplified definitions of the four parts of the historical Anatolian domes. The models include only position and normal values without color definition. Four types of deep neural networks are trained using the created data set to examine the results of different data processing approaches. The part-whole relations are usually well defined in the design, construction, and documentation tasks for humans. There are usually sequential but interrelation connections of the architectural units on different scales. However, the definition of the relations is based on the identified instances of the architectural elements. On the other hand, deep neural networks investigate the contextual, part-whole relations of the different classes to extract semantic information using relatively ambiguous patches and interpret the link between them in various ways. The presented study examines the outcomes of the direct implementation of multi-layer perceptron, graph, sequential, transformer-attention-based semantic segmentation algorithms into the historic dome system documentation process. To evaluate the semantic segmentation outcomes both visual and numerical results are provided and discussed. In addition to HDD, eleven real-world dome system models from the Anatolian Seljuk period are collected using photogrammetry tools to assess the proposed methods. To sum up, the presented research examines different deep learning-based semantic segmentation methods to acquire meaningful and accurate results based on the relations of the architectural elements. Also, a synthetic data set and an adaptive parametric modeling method for dome systems are provided that can be adapted into similar research. The results show that even if the trained networks perform well in the synthetic data set, and the real-world data includes all the parts of the dome systems, the exceptions in the real-world examples, such as sparsity of the points, noise in the collected data, unseen parts, and unlabeled elements confuse the segmentation process. Further studies might implement unlabeled objects, train the deep learning models with partial models, and focus on a unit-based investigation that focuses on creating the different sizes of patches on the point clouds to examine the relations of the part in the point clouds in an architecturally meaningful way.
Benzer Tezler
- A semi-automatic façade generation methodology of architectural heritage from laser point clouds: A case study on Architect Sinan
Lazer nokta bulutlarından mimari mirasın cephe elemanlarının yarı otomatik modellenmesi: Mimar Sinan üzerine örnek bir çalışma
CEMAL ÖZGÜR KIVILCIM
Doktora
İngilizce
2021
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZAİDE DURAN
- Tarihi kent merkezlerindeki değişimin görsel mekan kalitesi üzerinden ölçümüne yönelik bir model önerisi: Bursa örneği
Proposal of a model for measuring the change in historical city centers through quality of visual space: Case of Bursa
ALPER GÖNÜL
- Tarihi hava fotoğraflarının derin öğrenme ile semantik segmentasyonu
Semantic segmentation of historical aerial photographs using deep learning
GÜLSENA YILANCI
Yüksek Lisans
Türkçe
2024
Jeodezi ve FotogrametriKaradeniz Teknik ÜniversitesiHarita Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA DİHKAN
- 3B nokta bulutlarının derin öğrenme yöntemiyle semantik segmentasyonu
Semantic segmentation of 3D point clouds using deep learning methods
MERT BEŞİKTEPE
Yüksek Lisans
Türkçe
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
DOÇ. DR. CANER GÜNEY
- Derin öğrenme metotları kullanılarak farklı sosyal statüye sahip yapısal alanlarda binaların semantik segmentasyonu: İstanbul örneği
Semantic segmentation of buildings in structural areas with different social statuses using deep learning methods: Istanbul example
BURCU AMİRGAN
Yüksek Lisans
Türkçe
2023
Jeodezi ve FotogrametriKocaeli ÜniversitesiJeodezi ve Jeoinformasyon Mühendisliği Ana Bilim Dalı
PROF. DR. ARZU ERENER