Geri Dön

Semantic segmentation of UAV images in archaeological sites using deep learning

Arkeolojik alanlardaki İHA görüntülerinin derin öğrenme yardımıyla anlamsal segmentasyonu

PDF İndir

  1. Tez No: 776490
  2. Yazar: DAMLA KUMBASAR
  3. Danışmanlar: PROF. DR. DURSUN ZAFER ŞEKER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 75

Özet

Arkeolojik veriler, dünyanın kimliğinin tanımlanmasında, belleğinin oluşturulmasında, kentlerin ekonomisine yön verilmesinde, insanlığın kültürel ve sosyal köklerinin tanınmasında ve geleceğin doğru kurulmasında önemli bir role sahiptir. İçinde bulunduğumuz küreselleşme süreci ve çağımızın bilinçsiz insan hareketleri arkeolojik alanların korunmasında büyük zorluklara yol açmaya başlamıştır. Arkeolojik kalıntılara ve kayıtlara olan ilgi 20. yüzyılda Dünya Savaşları'nın neden olduğu kayıplardan sonra yoğunlaşmıştır. Teknolojik yöntemler de kullanarak bu kaybın önüne geçmeye çalışılmaktadır. İnsanlar arkeolojik alanları korurken; geleceklerine yön vermek ve kaynaklarını korumak için geçmişle ilgili soruları yanıtlamaya çalışmaktadır. Beraberinde arkeolojik alanların korunması ve yönetimine ilişkin ilkeler, Birleşmiş Milletler Eğitim, Bilim ve Kültür Örgütü (UNESCO), ICOMOS, ICCROM, Avrupa Konseyi vb. tarafından hazırlanan çeşitli uluslararası tüzük ve sözleşmelerde ana hatlarıyla belirtilmiştir. Bu bağlamda arkeolojik alanların tespiti, kalıntıların keşfedildikleri yerde belgelenmesi, dijitalleştirilmesi, araştırılması, korunması ve paylaşılması aşamaları büyük önem taşımaktadır. Etkili yerinde koruma, arkeolojik miras alanı hakkında bilgi sahibi olmayı ve doğru tespit etmeyi gerektirir. Bugün gelinen noktada arkeolojik alanların tespiti için, uzaktan algılama belgeleme teknikleri, bu koruma yaklaşımlarının kritik bir parçasıdır. Dijital fotoğrafçılık, fotogrametrik kayıt, insansız hava araçları (İHA), uydu görüntüleri, 3D lazer tarama ve LiDAR, arkeolojik alanların hızlı ve doğru bir şekilde belgelenmesi ve tespit edilmesi için en yaygın kullanılan araçlardır. Bu araçlar manuel yüzey araştırma yükünü azaltmakta, hatta ön-tespit ve belgeleme aşamaları için yeterli veri sağlamaktadır. Fakat sürekli büyüyen bu dinamik dijital verinin analiz edilmesi, işlenmesi ve yorumlanması aşamalarında bilgisayar destekli yöntemler benimsenmelidir. Derin Öğrenme algoritmaları; veri yığınlarını işleme, bu verilerden modeller oluşturma ve sonraki verileri yorumlama fırsatı sağlar. Ayrıca bu verilerden elde edilen modeller; sonraki verileri yorumlamaya, sonuçları etkili yorumlara yeniden entegre etmeye olanak tanır. Bu çalışmada Derin Evrişimsel Sinir Ağları (CNNs) yaklaşımı kullanılarak arkeolojik alanların tespiti için anlamsal bölütleme gerçekleştirilmiştir. Bu sayede, yenilikçi yaklaşımlar kullanılarak arkeolojik saha araştırmalarına katkıda bulunmak hedeflenmektedir. Çalışma aynı zamanda derin öğrenme ve arkeoloji bağlamında derinlemesine bir literatür taraması sunmaktadır. Evrişimsel Sinir Ağları mimarisi, elde edilen veri kümesi üzerinde arkeolojik yapıların bölütlenmesi için güçlü dedektör algoritmaları sağlamıştır. Bugün çevre, tarım, şehircilik, tıp gibi alanlarda yaygın olarak kullanılan bu yöntem, arkeolojide henüz yaygınlaşmamıştır. Bu nedenle, arkeoloji disiplininde erişilebilir, açık kaynaklı veri kümeleri bulmak oldukça zordur. Çalışma öncesi yapılan aramalarda da arkeolojik alanların segmentasyonu için hazırlanmış bir veri setine rastlanmamıştır. Bu nedenle bu çalışma için, Syedra Antik Kenti veri kümesi hazırlanmıştır. Syedra Antik Kenti; günümüzde Antalya ili Alanya ilçesinin 20 km güneydoğusunda, Seki Köyü sınırları içerisinde yer almaktadır. Aynı zamanda kent, büyük yapı kalıntıları içeren merkezi alanı 1. Derece arkeolojik sit alanı olarak tescil edilmiştir.Yerleşim tarihinin MÖ 9. yüzyıldan MS 13. yüzyıla kadar uzandığı tespit edilmiştir. Veri setinde kullanılan görüntüler, DJI Mavic 2 Pro kullanılarak elde edilmiştir. İHA'lar özellikle uzak arazi koşullarında düşük maliyetli, kolay lojistik, yüksek çözünürlüklü ve hızlı veri elde edebilme özellikleri beraberinde fotogrametrik belgeleme yetenekleri nedeniyle arkeolojik alanlarda yaygın olarak kullanılmaktadır. 2020 yılının Kasım ayında DroneDeploy uygulaması ile planlanan 4 farklı uçuş grubundan 5472 x 3648 piksel boyutlarında, 1653 görüntü elde edilmiştir. Uçuş gruplarından 76 görüntü eğitim ve test sürecine dahil edilmek üzere seçilmiştir. Sahada doğrulanan arkeolojik alanlar veri kümesi üzerinde“Arkeolojik Yapı Var”ve“Arkeolojik Yapı Yok”sınıfları şeklinde temsil edilmiştir. Sınıf bilgisine sahip görüntüler ayıklandığında elde edilen toplam 1986 görüntü üzerinde eğitim ve test işlemleri gerçekleştirilmiştir. Etiketlenmiş görüntüler 256 x 256 piksel boyutlarına getirilmişlerdir. Hazırlanan veriseti, 1320 görüntü (%66,47) eğitim için, 233 görüntü (%11,73) eğitim sırasında doğrulama için ve 433 görüntü (%21,80) test için kullanılmıştır. Çalışmada az sayıda eğitim görüntüsü ile iyi sonuçlar elde etme yeteğine sahip olan U-net ve beraberinde LinkNet modellerinin yanı sıra, ResNet34 ve ResNeXt50 olmak üzere iki CNN mimarisi kodlayıcı olarak tercih edilmiştir. Modellerin daha hızlı yakınsamasını ve daha güçlü genelleme yeteneğine sahip olmasını desteklemek amacıyla kullanılan kodlayıcılar ile birlikte 6 farklı model mimarisi hazırlanmıştır. Eğitim ve test ortamı olarak, Google tarafından ücretsiz bir bulut hizmeti olarak sunulan ve Jupyter Notebook arayüzü sağlayan Colaboratory (Colab) kullanılmıştır. ImageNet üzerinde ön eğitim uygularak, her model 4,8,16 olmak üzere üç farklı parça boyutu kullanılarak eğitilmiştir. Eğitim sürecinde optimize edici olarak Adam, 0.0001 optimum öğrenme oranı kullanılmıştır. Segmentasyon modellerinin performansını ve ortaya çıkan tahminin kalitesi, hazırlanan test veri kümesi kullanılarak değerlendirilmiştir. Beraberinde tahmini görüntü örnekleri hazırlanmıştır. Sonuçlar genel olarak değerlendirildiğinde, arka plan ile arkeolojik yapının farklı renk, doku ve özelliklere sahip olduğu senaryolarda tüm model mimarilerinin başarılı sonuçlar verdiği söylenebilmektedir. Bununla beraber, daha önce yapıya ait olan kalıntı parçalarının da bulunduğu bir zeminde yer alan arkeolojik yapıları ayırt etmekte zorlandığı gözlenmiştir. Değerlendirme sonuçları ışığında, 16'lık bir parça boyutu kullanan LinkNet ResNet34 mimarisinin %94,43 ile en yüksek test doğruluğuna sahip olduğu görülmüştür. Öte yandan, model mimarileri üzerinden değerlendirme yapıldığında yığın boyutunun doğruluğu güçlü bir şekilde etkilemediği gözlenmiştir. Model performansları değerlendirilirken IoU ve F1 skorları ana değerler olarak alınmıştır. En iyi model mimarisi 0,7326 IoU ve 0,8136 F1 skoruna sahiptir ve LinkNet ResNet34 önerilen model mimarisidir. Ayrıca yapılan testlerde en düşün performans gösteren mimari, U-Net ResNext50 olmuştur. Deney sonuçlarından yola çıkarak, veriseti geliştirilerek farklı modellerle test edilebilir ve aynı zamanda modellerin genelleme yeteneği farklı özelliklere sahip ya da farklı sensörlerden elde edilen veri kümeleri üzerinde test edilebilir. Çalışma sonucunda önerilen yaklaşım ile arkeolojik alanların tespiti için manuel yüzey araştırmalarına gerek kalmadan derin öğrenme kullanımı ile doğru sonuçlar elde edilebileceği kanıtlanmıştır. Bununla birlikte, arka planda motivasyonu da destekleyerek arkeolojik sahalarda ön koruma koşulunun gerçekleştirilmesine yenilikçi bir yaklaşım sunulmuştur. IHA görüntüleri kullanılarak sunulan yaklaşım gelecekte fotogrametrik süreçler ve sayısal yükseklik modelleri (DEM) ile desteklenebilir. Tespit edilen arkeolojik alan, konum ve öznitelik bilgileriyle birlikte, kurumlar ve çeşitli kuruluşlar tarafından kullanılabilecek bir coğrafi bilgi sistemi (CBS) platformlarına entegre edilebilir.

Özet (Çeviri)

Archaeological data plays an important role in defining the identity of the world, creating its memory, steering the economy of cities, recognizing the cultural and social origins of humanity, and building the future well. The globalization world process we are in and the unconscious human actions of this era have begun to cause major difficulties in the preservation of archaeological sites. Archaeological site detection, identification, and documentation are essential processes in preservation strategies. Archaeological research, preliminary preservation, excavation, and city planning require these processes to be effectively performed. Technological methods reduce the manual survey effort and even provide sufficient data for the pre-detection and documentation processes. However, computer-aided methods should be adopted to analyze, process, and interpret this ever-growing dynamic digital data. Deep Learning algorithms provide the ability to process masses of data, build models from this data and interpret subsequent data. In addition, the models obtained from this data allow the interpretation of subsequent data and reintegrating of the results into effective interpretations. Accordingly, in this study, in this study semantic segmentation is performed to detect archaeological structures utilizing the transfer learning-based deep Convolutional Neural Networks (CNNs) approach. The dataset from the Ancient City of Syedra, whose archaeological research continues today, is used. The dataset consists of UAV images and contains ancient Roman structures that were manually labeled and field-verified to a large extent. The architecture of CNNs has provided powerful detector algorithms for segmenting archaeological structures on the acquired dataset. In the study, U-net and LinkNet models, two CNN architectures, which are ResNet34 and ResNeXt50 were implemented as encoders to the U-Net and LinkNet CNN models. In order to support faster convergence and stronger generalization capability of the models, 6 different model architectures were prepared with the encoders used. The training and testing environment was Colaboratory (Colab), a free cloud service provided by Google, which provides a Jupyter Notebook interface. By pre-training on ImageNet, each model was trained using three different batch sizes 4,8,16. The performance of the segmentation models and the quality of the resulting predictions were evaluated using a test dataset. Prediction image samples were also prepared. When the results are generally analyzed, it can be said that all model architectures give successful results in scenarios where the background and the archaeological structure have different colors, textures, and features. In light of the evaluation results, it was observed that the LinkNet ResNet34 architecture, which uses a batch size of 16, had the highest test accuracy with 94.43%. IoU and F1 scores were taken as the main values when evaluating model performances. The best model architecture has an IoU score of 0.7326 and an F1 score of 0.8136 and is the LinkNet ResNet34 recommended model architecture. As a result of the study, it is shown that with the recommended method, accurate results can be obtained with the use of deep learning for the segmentation of archaeological sites without the need for manual surveys. In addition, an innovative approach to the realization of the pre-protection requirement in archaeological sites is presented, supporting the motivation in the background. The approach using UAV imagery can be supported by the photogrammetric processes and digital elevation models (DEM) in the future. The detected archaeological site, together with its location and attribute information, can be integrated into a geographic information system (GIS) platform that can be used by institutions and organizations.

Benzer Tezler

  1. Tez No

    770347

    Semantic segmentation of panoramic images and panoramic image based outdoor visual localization

    Panoramik imgelerde anlamsal bölütleme ve panoramik imge tabanlı dış mekan görsel konumlandırma

    SEMİH ORHAN

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji Enstitüsü

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YALIN BAŞTANLAR

  2. Tez No

    748633

    COVID-19 tanılı bilgisayarlı tomografi görüntülerinde akciğer ve pnömoni bölgelerinin farklı senaryolarda semantik segmentasyonu

    Semantic segmentation of lung and pneumonia regions in different scenarios on COVID-19 diagnosed computer tomographic images

    HÜSEYİN EMRE ALEMDAROĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Mühendislik BilimleriNecmettin Erbakan Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUHAMMET ÜSAME ÖZİÇ

  3. Tez No

    823271

    Derin öğrenme metotları kullanılarak farklı sosyal statüye sahip yapısal alanlarda binaların semantik segmentasyonu: İstanbul örneği

    Semantic segmentation of buildings in structural areas with different social statuses using deep learning methods: Istanbul example

    BURCU AMİRGAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Jeodezi ve FotogrametriKocaeli Üniversitesi

    Jeodezi ve Jeoinformasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. ARZU ERENER

  4. Tez No

    911692

    Tarihi hava fotoğraflarının derin öğrenme ile semantik segmentasyonu

    Semantic segmentation of historical aerial photographs using deep learning

    GÜLSENA YILANCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Jeodezi ve FotogrametriKaradeniz Teknik Üniversitesi

    Harita Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUSTAFA DİHKAN

  5. Tez No

    482330

    Semantic segmentation of RGBD videos with recurrent fully convolutional neural networks

    RGBD videoların özyinelemeli tamamen konvolüsyonel yapay sinir ağları ile semantik bölütlenmesi

    EKREM EMRE YURDAKUL

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YÜCEL YEMEZ

Geri Dön