Görüntü işleme teknikleri ve derin öğrenme metotları kullanılarak yığma taş duvar segmentasyonu
Masonry stone wall segmentation using image processing techniques and deep learning methods
- Tez No: 974832
- Danışmanlar: DOÇ. DR. TOLGA AYDIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Sayısal görüntü işleme, Digital image processing
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Atatürk Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Amaç: Bu çalışmanın amacı, tarihi yığma taş yapıların korunması ve yapısal analizlerinde kullanılmak üzere, duvar görsellerindeki taş ve harç bölgelerini piksel düzeyinde otomatik olarak segmente eden derin öğrenme ve görüntü işleme tabanlı hibrit bir yöntem geliştirmektir. Çalışma ile geleneksel manuel ölçüm yöntemlerine kıyasla daha hızlı, nesnel ve yüksek doğruluklu bir analiz altyapısı sunulması hedeflenmektedir. Yöntem: Araştırmada kamuya açık bir veri seti ile Erzurum ilindeki tarihi yapılardan toplanan yerel görüntülerin birleştirildiği hibrit bir veri seti kullanılmıştır. Yüksek çözünürlüklü görüntüler, detay kaybını önlemek amacıyla 256x256 piksellik daha küçük parçalara (patch) ayrılarak toplam 108194 görüntü maske çifti (85747 eğitim, 22447 doğrulama) modellere girdi olarak hazırlanmıştır. U-Net, FPN, LinkNet ve PSPNet mimarileri; VGG16, ResNet34/50, MobileNetV1/V2, EfficientNetB0 ve DenseNet121 gibi önceden eğitilmiş yedi farklı omurga (backbone) ile transfer öğrenme yöntemi kullanılarak eğitilmiştir. Model performansları Piksel Doğruluğu, IoU, Dice Katsayısı, Kesinlik, Duyarlılık ve Özgüllük gibi segmentasyon metrikleri ile değerlendirilmiştir. Derin öğrenme modellerinin ham segmentasyon çıktıları, morfolojik işlemler, Watershed algoritması ve bağlantılı bileşen analizi gibi son işlem adımlarıyla iyileştirilmiştir. Nihai segmentasyon maskeleri üzerinden taş boyutları hesaplanmıştır. Bulgular: Deneysel bulgular, geliştirilen derin öğrenme modellerinin yığma taş duvarlardaki taş ve harç bölgelerini yüksek bir başarıyla ayrıştırabildiğini göstermiştir. Karşılaştırılan modeller arasında U-Net/MobileNetV1 modeli %97,87 IoU ve %98,92 Dice katsayısı ile en yüksek genel segmentasyon performansını sergilemiş, %99,09 duyarlılık ve %82,51 özgüllük değerlerine ulaşmıştır. Harç bölgelerinin tespitinde kritik bir metrik olan özgüllük açısından %83,03 ile en başarılı model U-Net/EfficientNetB0 olmuştur. Hesaplama verimliliği (eğitim süresi ve parametre sayısı) ve performans dengesi açısından ise LinkNet/MobileNetV1 modeli en uygun çözümlerden birini sunmuş ve pratik uygulamalar için cazip bir seçenek olduğu belirlenmiştir. Uygulanan son işlem adımlarının, modellerin eksik veya hatalı tahminlerini önemli ölçüde düzelttiği ve taşların geometrik özelliklerinin hassas bir şekilde hesaplanmasına katkı sağladığı tespit edilmiştir. Sonuç: Bu çalışma, derin öğrenme ve görüntü işleme tekniklerinin bir arada kullanıldığı hibrit yaklaşımın, yığma taş duvarların karmaşık yapılarının segmentasyonunda hızlı, nesnel ve yüksek doğruluklu bir yöntem sunduğunu kanıtlamıştır. Gelecekteki çalışmalar için veri seti genişletme, daha gelişmiş mimariler, gerçek zamanlı uygulamalar için optimizasyon ve detaylı hata analizi gibi alanlarda potansiyel araştırma yönleri belirlenmiştir. Geliştirilen bu yaklaşım, tarihi yapıların korunması ve restorasyonu alanında çalışan uzmanlara, yapısal analizler için temel bir girdi olan taş ve harç dağılımını otomatik olarak belirleme imkânı sunarak geleneksel yöntemlere kıyasla önemli bir avantaj sağlamaktadır.
Özet (Çeviri)
Purpose: The aim of this study is to develop a hybrid method based on deep learning and image processing that automatically segments stone and mortar areas in wall images at the pixel level for use in the preservation and structural analysis of historic masonry structures. The study seeks to provide an analysis infrastructure that is faster, objective, and highly accurate compared to traditional manual measurement methods. Method: The research utilized a hybrid dataset created by combining a publicly available dataset with local images collected from historical structures in the province of Erzurum. To prevent the loss of fine details, high-resolution images were partitioned into smaller 256x256 pixel patches, generating a total of 108194 image-mask pairs (85747 for training, 22447 for validation) as input for the models. Four main architectures U-Net, FPN, LinkNet, and PSPNet were trained using transfer learning with seven different pre-trained backbones: VGG16, ResNet34/50, MobileNetV1/V2, EfficientNetB0, and DenseNet121. Model performance was evaluated using segmentation metrics, including Pixel Accuracy, Intersection over Union (IoU), Dice Coefficient, Precision, Recall (Sensitivity), and Specificity. The raw segmentation outputs from the deep learning models were subsequently refined through post-processing steps such as morphological operations, the Watershed algorithm, and connected component analysis (CCA). Finally, stone dimensions were calculated from the finalized segmentation masks. Findings: The experimental results demonstrate that the developed deep learning models successfully segmented stone and mortar regions in masonry walls with high accuracy. Among the compared models, the U-Net/MobileNetV1 architecture exhibited the best overall segmentation performance, achieving an IoU of 97,87% and a Dice coefficient of 98,92%, with a sensitivity of 99,09% and a specificity of 82,51%. In terms of specificity, a critical metric for the accurate detection of mortar regions, the U-Net/EfficientNetB0 model proved to be the most successful with a score of 83,03%. When considering the trade-off between computational efficiency (training time and parameter count) and performance, the LinkNet/MobileNetV1 model emerged as one of the most suitable solutions, identifying it as an attractive option for practical applications. It was also determined that the applied post-processing steps significantly corrected the models' incomplete or erroneous predictions and contributed to the precise calculation of the geometric properties of the stones. Results: This study confirms that a hybrid approach combining deep learning and image processing techniques offers a fast, objective, and highly accurate method for the segmentation of complex masonry wall structures. Potential future research directions have been identified, including dataset expansion, the exploration of more advanced architectures, optimization for real-time applications, and detailed error analysis. The developed approach provides experts in the conservation and restoration of historical structures with a powerful tool for automatically determining the distribution of stone and mortar, which is a fundamental input for structural analysis. This offers a significant advantage over conventional methods.
Benzer Tezler
- Segmentation of colon nuclei images using deep learning
Kalın bağırsak hücre görüntülerinin derin öğrenme kullanılarak bölütlenmesi
ATAKAN ÖZKAN
Yüksek Lisans
İngilizce
2025
Biyomühendislikİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Scene change detection with triplet loss network using self-supervised learning
Üçlü kayıp ağı ile kendi kendine denetimli öğrenme metodu kullanarak sahne geçişlerinin tespiti
BURAK NAYIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Ana Bilim Dalı
DR. TANKUT AKGÜL
- Optimization of deep neural network architectures for the forest fire detection
Orman yangini tespitinde derin sinir aği mimarilerinin optimizasyonu
BERRİN SAVDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MÜŞTAK ERHAN YALÇIN
PROF. DR. HAZIM KEMAL EKENEL
- Fındık meyve çeşitlerinin derin öğrenme metodu kullanılarak sınıflandırılması
Classification of hazelnut fruit varieties using deep learning method
SELÇUK HARMANCI
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAmasya ÜniversitesiTeknoloji ve İnovasyon Yönetimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAVUZ ÜNAL
- Derin öğrenme metotları ile asma yapraklarının sınıflandırılması
Classification of vine leaves using deep learning methods
BERİVAN AKDOĞAN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBatman ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
PROF. DR. NECMETTİN SEZGİN