Deep learning-driven visual analysis of tangible architectural heritage data: classification of Ottoman vernacular houses through facade images
Somut mimari miras verilerinin derin öğrenme tabanlı görsel analizi: Osmanlı vernaküler konutlarının cephe görselleri üzerinden sınıflandırılması
- Tez No: 968788
- Danışmanlar: PROF. DR. FEHMİ DOĞAN, DR. ÖĞR. ÜYESİ HASAN BURAK ÇAVKA
- Tez Türü: Doktora
- Konular: Mimarlık, Architecture
- Anahtar Kelimeler: Derin öğrenme, Geleneksel Türk evi, Görüntü sınıflandırma, Deep learning, Traditional Turkish house, Image classification
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mimarlık Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, somut kültürel miras verilerinin görsel analizinde önceden eğitilmiş derin öğrenme modellerinin ve verinin rolünü ve etkinliğini Osmanlı vernaküler konutlarının cephe görselleri aracılığıyla araştırmaktadır. Mimari miras verileri doğası gereği çok katmanlı ve çok boyutludur ve güncel literatür, hesaplamalı yöntemlerle (örn. parametrik modelleme, biçim grameri ve mekân dizimi) ve dijital çerçevelerle (örn. tarihi yapı bilgi modellemesi ve tarihi coğrafi bilgi sistemleri) artan ilişkisini ortaya koymuştur. Bu kapsamda, derin öğrenme temelli yaklaşımlar, karmaşık mimari veri kümelerini analiz etmek için yeni fırsatlar sunmaktadır. Anadolu ve Balkanlar'daki geleneksel evlerin cephe fotoğraflarından derlenen bir veri seti oluşturulmuştur. Model performansının veri kalitesine olan hassasiyeti nedeniyle, çoklu iş akışı diyagramları ve veri toplama protokolü geliştirilmiştir. Veri kümesi eğitim (%70), doğrulama (%20) ve test (%10) alt kümelerine ayrılmış ve sınırlı büyüklüğü nedeniyle çeşitli teknikler (örn. Mixup) kullanılarak artırılmıştır. Konvolüsyonel sinir ağı tabanlı mimariler (örn. ResNet ve ConvNeXt) ve dönüştürücü tabanlı modeller (örn. Swin Transformer ve DeiT), transfer öğrenme ve ince ayar stratejileri ile kullanılmıştır. Yığın boyutu, öğrenme oranı, epok sayısı ve optimizasyon fonksiyonu gibi hiperparametreler üzerinde çalışılmıştır. Grad-CAM, Açıklanabilir Yapay Zekâ çerçevesinde kullanılmıştır. Görüntü bulma görevi ön eğitimli derin öğrenme modeli ile gerçekleştirilmiştir. Ayrıca, benzer mimari özelliklere sahip veriler gruplandırılarak mimari süper sınıflar oluşturulmuş ve 2B ortamdaki dağılımlarını görselleştirmek için t-SNE uygulanmıştır. Denetimli sınıflandırma gerçekleştirilmiş ve model performansı doğrulama ve test doğruluğu, MCC skoru gibi ölçütler kullanılarak değerlendirilmiştir. Ayrıca, her bir ince ayarlı model için makro ağırlıklı hassasiyet, geri çağırma ve F1-Skor değerleri elde edilmiştir. Mimari miras veri kümesinin oluşturulması, veri toplama protokolünün formüle edilmesi, semantik süper sınıfların tasarımı ve derin öğrenme tabanlı iş akışlarının geliştirilmesi başlıca çıktılar arasında yer almaktadır.
Özet (Çeviri)
This study investigates the role and effectiveness of pre-trained deep learning models and data in visual analysis of tangible cultural heritage data through facade images of Ottoman vernacular houses. Architectural heritage data is inherently multi layered and multidimensional, and recent literature has demonstrated its growing engagement with computational methods (e.g., parametric modelling, shape grammar, and space syntax) and digital frameworks (e.g., historical building information modelling and historical geographic information systems). Within this scope, deep learning-based approaches offer novel opportunities for analysing complex architectural datasets. A dataset has been created, compiled from facade photographs of traditional houses in Anatolia and the Balkans. Due to the sensitivity of model performance to data quality, multiple workflow diagrams and data collection protocol were developed. The dataset was split into training (70%), validation (20%), and testing (10%) subsets, and augmented using various techniques (e.g., Mixup) due to its limited size. Convolutional neural net-based architectures (e.g., ResNet and ConvNeXt) and transformer-based structures (e.g., Swin Transformer and DeiT) were employed, along with transfer learning and fine-tuning strategies. Hyperparameters such as batch size, learning rate, number of epochs, and optimization function have been studied. Grad-CAM has been utilized within the framework of Explainable AI. Image retrieval task was implemented with pre-trained deep learning model. Furthermore, architectural superclasses were constructed by grouping data with similar architectural attributes and t-SNE was applied to visualize their distribution in 2D environment. Supervised classification was conducted, and model performance was evaluated using metrics including validation and test accuracy, and MCC scores. In -addition, macro-weighted precision, recall, and F1-score values were obtained for each fine-tuned model. The construction of an architectural heritage dataset, the formulation of a data collection protocol, the design of semantic superclasses, and the development of deep learning-based workflows are among the main outcomes.
Benzer Tezler
- Ai-based classification between healthy and vestibular system impaired individuals using gait parameters
Sağlıklı ve vestibüler sistem (VS) bozukluğu gösteren ve göstermeyen bireyler arasındaki yürüme parametrelerinin yapay zeka tabanlı sınıflandırılması
DUA HİŞAM
Yüksek Lisans
İngilizce
2023
İstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Derin öğrenme modellerinin transfer öğrenme ile farklı veri setleri üzerindeki performanslarının karşılaştırılması
Comparative performance analysis of deep learning models on different datasets using transfer learning
GÜLAHMET YILDIZ
Yüksek Lisans
Türkçe
2025
Sakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
Yükleniyor...
- İslami geometrik desenlerde derin öğrenme algoritmaları ile görüntü restorasyonu
Image restoration of islamic geometric patterns with deep learning algorithms
MAKBULE ÖZDEMİR
- Derin öğrenme modelleri kullanarak yazma alanında özgül öğrenme güçlüklerinin erken teşhisi
Early diagnosis of specific learning difficulties in writing using deep learning models
NEŞE ÖZKUM
- Derin öğrenme tabanlı yaklaşımlarla mikroskop görüntülerinden plastik türlerinin sınıflandırılması
Classification of plastic types from microscope images using deep learning-based approaches
ADEM DELİASLAN