Deep learning-driven visual analysis of tangible architectural heritage data: classification of Ottoman vernacular houses through facade images
Somut mimari miras verilerinin derin öğrenme tabanlı görsel analizi: Osmanlı vernaküler konutlarının cephe görselleri üzerinden sınıflandırılması
- Tez No: 968788
- Danışmanlar: PROF. DR. FEHMİ DOĞAN, DR. ÖĞR. ÜYESİ HASAN BURAK ÇAVKA
- Tez Türü: Doktora
- Konular: Mimarlık, Architecture
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mimarlık Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 109
Özet
Bu çalışma, somut kültürel miras verilerinin görsel analizinde önceden eğitilmiş derin öğrenme modellerinin ve verinin rolünü ve etkinliğini Osmanlı vernaküler konutlarının cephe görselleri aracılığıyla araştırmaktadır. Mimari miras verileri doğası gereği çok katmanlı ve çok boyutludur ve güncel literatür, hesaplamalı yöntemlerle (örn. parametrik modelleme, biçim grameri ve mekân dizimi) ve dijital çerçevelerle (örn. tarihi yapı bilgi modellemesi ve tarihi coğrafi bilgi sistemleri) artan ilişkisini ortaya koymuştur. Bu kapsamda, derin öğrenme temelli yaklaşımlar, karmaşık mimari veri kümelerini analiz etmek için yeni fırsatlar sunmaktadır. Anadolu ve Balkanlar'daki geleneksel evlerin cephe fotoğraflarından derlenen bir veri seti oluşturulmuştur. Model performansının veri kalitesine olan hassasiyeti nedeniyle, çoklu iş akışı diyagramları ve veri toplama protokolü geliştirilmiştir. Veri kümesi eğitim (%70), doğrulama (%20) ve test (%10) alt kümelerine ayrılmış ve sınırlı büyüklüğü nedeniyle çeşitli teknikler (örn. Mixup) kullanılarak artırılmıştır. Konvolüsyonel sinir ağı tabanlı mimariler (örn. ResNet ve ConvNeXt) ve dönüştürücü tabanlı modeller (örn. Swin Transformer ve DeiT), transfer öğrenme ve ince ayar stratejileri ile kullanılmıştır. Yığın boyutu, öğrenme oranı, epok sayısı ve optimizasyon fonksiyonu gibi hiperparametreler üzerinde çalışılmıştır. Grad-CAM, Açıklanabilir Yapay Zekâ çerçevesinde kullanılmıştır. Görüntü bulma görevi ön eğitimli derin öğrenme modeli ile gerçekleştirilmiştir. Ayrıca, benzer mimari özelliklere sahip veriler gruplandırılarak mimari süper sınıflar oluşturulmuş ve 2B ortamdaki dağılımlarını görselleştirmek için t-SNE uygulanmıştır. Denetimli sınıflandırma gerçekleştirilmiş ve model performansı doğrulama ve test doğruluğu, MCC skoru gibi ölçütler kullanılarak değerlendirilmiştir. Ayrıca, her bir ince ayarlı model için makro ağırlıklı hassasiyet, geri çağırma ve F1-Skor değerleri elde edilmiştir. Mimari miras veri kümesinin oluşturulması, veri toplama protokolünün formüle edilmesi, semantik süper sınıfların tasarımı ve derin öğrenme tabanlı iş akışlarının geliştirilmesi başlıca çıktılar arasında yer almaktadır.
Özet (Çeviri)
This study investigates the role and effectiveness of pre-trained deep learning models and data in visual analysis of tangible cultural heritage data through facade images of Ottoman vernacular houses. Architectural heritage data is inherently multi layered and multidimensional, and recent literature has demonstrated its growing engagement with computational methods (e.g., parametric modelling, shape grammar, and space syntax) and digital frameworks (e.g., historical building information modelling and historical geographic information systems). Within this scope, deep learning-based approaches offer novel opportunities for analysing complex architectural datasets. A dataset has been created, compiled from facade photographs of traditional houses in Anatolia and the Balkans. Due to the sensitivity of model performance to data quality, multiple workflow diagrams and data collection protocol were developed. The dataset was split into training (70%), validation (20%), and testing (10%) subsets, and augmented using various techniques (e.g., Mixup) due to its limited size. Convolutional neural net-based architectures (e.g., ResNet and ConvNeXt) and transformer-based structures (e.g., Swin Transformer and DeiT) were employed, along with transfer learning and fine-tuning strategies. Hyperparameters such as batch size, learning rate, number of epochs, and optimization function have been studied. Grad-CAM has been utilized within the framework of Explainable AI. Image retrieval task was implemented with pre-trained deep learning model. Furthermore, architectural superclasses were constructed by grouping data with similar architectural attributes and t-SNE was applied to visualize their distribution in 2D environment. Supervised classification was conducted, and model performance was evaluated using metrics including validation and test accuracy, and MCC scores. In -addition, macro-weighted precision, recall, and F1-score values were obtained for each fine-tuned model. The construction of an architectural heritage dataset, the formulation of a data collection protocol, the design of semantic superclasses, and the development of deep learning-based workflows are among the main outcomes.
Benzer Tezler
- Ai-based classification between healthy and vestibular system impaired individuals using gait parameters
Sağlıklı ve vestibüler sistem (VS) bozukluğu gösteren ve göstermeyen bireyler arasındaki yürüme parametrelerinin yapay zeka tabanlı sınıflandırılması
DUA HİŞAM
Yüksek Lisans
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
ASSOCIATE PROF. DR. SERHAT İKİZOĞLU
- Evrşimsel sinir ağları ile 3D CAD modeller üzerinde benzerlik analizi
Similarity analysis on 3D CAD models with convolutional neural networks
RUKİYE TİPİ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiAkıllı Sistemler Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ KORAY ALTUN
- Derin öğrenme tabanlı şiddet detektörü
Deep learning based violence detection
MUSTAFA KESER
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiVeri Analitiği Ana Bilim Dalı
PROF. DR. HAYRİ SEVER
- Use of a deep learning CNN architecture in product image quality assessment for improving e-commerce customer experience
E-ticaret müşteri deneyimini geliştirmek için ürün görüntü kalitesi değerlendirmesinde derin öğrenme CNN mimarisinin kullanımı
IMAD A I TBAILEH
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBüyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
DOÇ. DR. SELAMİ BAĞRIYANIK
- Architectural section generation and semantic evaluation with deep learning methods
Derin öğrenme yöntemleri ile mimari kesit üretimi ve anlamsal değerlendirilmesi
ECE SAVAŞ
Yüksek Lisans
İngilizce
2025
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU