Geri Dön

Deep learning-driven visual analysis of tangible architectural heritage data: classification of Ottoman vernacular houses through facade images

Somut mimari miras verilerinin derin öğrenme tabanlı görsel analizi: Osmanlı vernaküler konutlarının cephe görselleri üzerinden sınıflandırılması

  1. Tez No: 968788
  2. Yazar: VELİ MUSTAFA YÖNDER
  3. Danışmanlar: PROF. DR. FEHMİ DOĞAN, DR. ÖĞR. ÜYESİ HASAN BURAK ÇAVKA
  4. Tez Türü: Doktora
  5. Konular: Mimarlık, Architecture
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İzmir Yüksek Teknoloji Enstitüsü
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mimarlık Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 109

Özet

Bu çalışma, somut kültürel miras verilerinin görsel analizinde önceden eğitilmiş derin öğrenme modellerinin ve verinin rolünü ve etkinliğini Osmanlı vernaküler konutlarının cephe görselleri aracılığıyla araştırmaktadır. Mimari miras verileri doğası gereği çok katmanlı ve çok boyutludur ve güncel literatür, hesaplamalı yöntemlerle (örn. parametrik modelleme, biçim grameri ve mekân dizimi) ve dijital çerçevelerle (örn. tarihi yapı bilgi modellemesi ve tarihi coğrafi bilgi sistemleri) artan ilişkisini ortaya koymuştur. Bu kapsamda, derin öğrenme temelli yaklaşımlar, karmaşık mimari veri kümelerini analiz etmek için yeni fırsatlar sunmaktadır. Anadolu ve Balkanlar'daki geleneksel evlerin cephe fotoğraflarından derlenen bir veri seti oluşturulmuştur. Model performansının veri kalitesine olan hassasiyeti nedeniyle, çoklu iş akışı diyagramları ve veri toplama protokolü geliştirilmiştir. Veri kümesi eğitim (%70), doğrulama (%20) ve test (%10) alt kümelerine ayrılmış ve sınırlı büyüklüğü nedeniyle çeşitli teknikler (örn. Mixup) kullanılarak artırılmıştır. Konvolüsyonel sinir ağı tabanlı mimariler (örn. ResNet ve ConvNeXt) ve dönüştürücü tabanlı modeller (örn. Swin Transformer ve DeiT), transfer öğrenme ve ince ayar stratejileri ile kullanılmıştır. Yığın boyutu, öğrenme oranı, epok sayısı ve optimizasyon fonksiyonu gibi hiperparametreler üzerinde çalışılmıştır. Grad-CAM, Açıklanabilir Yapay Zekâ çerçevesinde kullanılmıştır. Görüntü bulma görevi ön eğitimli derin öğrenme modeli ile gerçekleştirilmiştir. Ayrıca, benzer mimari özelliklere sahip veriler gruplandırılarak mimari süper sınıflar oluşturulmuş ve 2B ortamdaki dağılımlarını görselleştirmek için t-SNE uygulanmıştır. Denetimli sınıflandırma gerçekleştirilmiş ve model performansı doğrulama ve test doğruluğu, MCC skoru gibi ölçütler kullanılarak değerlendirilmiştir. Ayrıca, her bir ince ayarlı model için makro ağırlıklı hassasiyet, geri çağırma ve F1-Skor değerleri elde edilmiştir. Mimari miras veri kümesinin oluşturulması, veri toplama protokolünün formüle edilmesi, semantik süper sınıfların tasarımı ve derin öğrenme tabanlı iş akışlarının geliştirilmesi başlıca çıktılar arasında yer almaktadır.

Özet (Çeviri)

This study investigates the role and effectiveness of pre-trained deep learning models and data in visual analysis of tangible cultural heritage data through facade images of Ottoman vernacular houses. Architectural heritage data is inherently multi layered and multidimensional, and recent literature has demonstrated its growing engagement with computational methods (e.g., parametric modelling, shape grammar, and space syntax) and digital frameworks (e.g., historical building information modelling and historical geographic information systems). Within this scope, deep learning-based approaches offer novel opportunities for analysing complex architectural datasets. A dataset has been created, compiled from facade photographs of traditional houses in Anatolia and the Balkans. Due to the sensitivity of model performance to data quality, multiple workflow diagrams and data collection protocol were developed. The dataset was split into training (70%), validation (20%), and testing (10%) subsets, and augmented using various techniques (e.g., Mixup) due to its limited size. Convolutional neural net-based architectures (e.g., ResNet and ConvNeXt) and transformer-based structures (e.g., Swin Transformer and DeiT) were employed, along with transfer learning and fine-tuning strategies. Hyperparameters such as batch size, learning rate, number of epochs, and optimization function have been studied. Grad-CAM has been utilized within the framework of Explainable AI. Image retrieval task was implemented with pre-trained deep learning model. Furthermore, architectural superclasses were constructed by grouping data with similar architectural attributes and t-SNE was applied to visualize their distribution in 2D environment. Supervised classification was conducted, and model performance was evaluated using metrics including validation and test accuracy, and MCC scores. In -addition, macro-weighted precision, recall, and F1-score values were obtained for each fine-tuned model. The construction of an architectural heritage dataset, the formulation of a data collection protocol, the design of semantic superclasses, and the development of deep learning-based workflows are among the main outcomes.

Benzer Tezler

  1. Ai-based classification between healthy and vestibular system impaired individuals using gait parameters

    Sağlıklı ve vestibüler sistem (VS) bozukluğu gösteren ve göstermeyen bireyler arasındaki yürüme parametrelerinin yapay zeka tabanlı sınıflandırılması

    DUA HİŞAM

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    ASSOCIATE PROF. DR. SERHAT İKİZOĞLU

  2. Evrşimsel sinir ağları ile 3D CAD modeller üzerinde benzerlik analizi

    Similarity analysis on 3D CAD models with convolutional neural networks

    RUKİYE TİPİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik Üniversitesi

    Akıllı Sistemler Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ KORAY ALTUN

  3. Derin öğrenme tabanlı şiddet detektörü

    Deep learning based violence detection

    MUSTAFA KESER

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Veri Analitiği Ana Bilim Dalı

    PROF. DR. HAYRİ SEVER

  4. Use of a deep learning CNN architecture in product image quality assessment for improving e-commerce customer experience

    E-ticaret müşteri deneyimini geliştirmek için ürün görüntü kalitesi değerlendirmesinde derin öğrenme CNN mimarisinin kullanımı

    IMAD A I TBAILEH

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Büyük Veri Analitiği ve Yönetimi Ana Bilim Dalı

    DOÇ. DR. SELAMİ BAĞRIYANIK

  5. Architectural section generation and semantic evaluation with deep learning methods

    Derin öğrenme yöntemleri ile mimari kesit üretimi ve anlamsal değerlendirilmesi

    ECE SAVAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU