Geri Dön

Assessing the generalization ability of a global model for rapid building damage assessment in real-world disaster scenarios

Hızlı bina hasarı değerlendirmesine yönelik küresel bir modelin genelleştirme yeteneğinin gerçek dünya afet senaryolarında değerlendirilmesi

PDF İndir

  1. Tez No: 904891
  2. Yazar: EREN BERK EDİNÇ
  3. Danışmanlar: PROF. DR. ULUĞ BAYAZIT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 65

Özet

Doğal afetler dünyanın çeşitli yerlerinde can ve mal kayıplarına neden olmaktadır. Her saniyenin önemli olduğu doğal afet sonrasında, kayıpları mümkün olduğunca önlemek için yardım ekiplerinin hızlı davranması büyük önem taşımaktadır. Bu nedenle bina hasar tespitinin hızlı ve doğru yapılabilmesi çok önemli bir problemdir. Bina hasar tespitinin sahada insanlar tarafından manuel olarak yapılması maliyetli, yavaş ve riskli olduğundan, son yıllarda bina hasar tespiti alanında çalışan araştırmacılar, uzaktan algılama görüntülerin kullanarak bina hasarını otomatik olarak tespit edebilen sistemler üzerinde çalışmaktadır. Son yıllarda daha fazla verinin erişilieblir olması ve daha fazla hesaplama gücüne sahip olmamız sayesinde derin öğrenme yaklaşımları bina hasar tespiti alanında da kullanılmaya başlanmıştır. Gerçek dünya senaryoları dikkate alındığında bu alanda kullanılan derin öğrenme modellerinin en önemli sorunlarından biri genellemedir. İdeal olarak gelecekte tüm afetlerde hasar tespitini başarıyla yapabilecek küresel bir modele sahip olmak isteriz. Ancak bölgedeki binaların yapısı, güneş ışığı, bulutların konumu, gölge vb. nedenlerden dolayı bir afet diğerinden görsel olarak büyük ölçüde farklılık gösterdiğinden bu zor bir iştir. Ancak birçok hasar değerlendirme modeli, eğitim ve test kümelerinde aynı felaketlere ait veriler içeren, gerçekçi olmayan alan içi (ID) test kümesi üzerinde değerlendirilmektedir. Modelleri gerçek dünya senaryolarına yakın olmayan bu veri kümesi düzeni kullanarak eğitmek ve değerlendirmek modelin genelleme yeteneğini ölçmek için bize bir fikir vermez. Bu veri kümesi düzenini kullanmak modelin performansını ve kabiliyetini abartılı ve gerçekçi olmayan bir şekilde gösterebilir. Bu tezde, hasar değerlendirmesi için genelleme problemine odaklandık çünkü genelleme performansının özellikle bina hasar değerlendirmesinde çok önemli olduğuna inanmaktayız. Her afet bir diğer afete göre görsel olarak büyük ölçüde farklılık gösterdiğinden hasar değerlendirme modellerinin performansını değerlendirirken genelleme performansı çok önemlidir. Bunun için gerçek dünya senaryolarına yakın ve modelin genelleme yeteneğini değerlendirmek için daha uygun olan etki alanı dışı (OOD) test kümesi düzeninin kullanılmasını önermekteyiz. Hasar değerlendirme modelinin gerçek dünyadaki kullanımı, modeli önceki afetlerden elde edilen verilerle eğitmek ve eğitilen modeli yeni bir afet meydana geldiğinde test etmek olacağından, eğitim ve test setlerinde aynı afetlere ait verileri kullanmak gerçekçi değildir, ve bu nedenle modellerin performansları değerlendirilirken ID veri kümesi ayarı yerine OOD veri kümesi ayarının tercih edilmesi gerektiğine inanıyoruz. OOD veri kümesi ayarı, veri kümesini oluşturan felaketlerden bir tanesinin yeni gerçekleşen felaket, geriye kalan tüm felaketlerin de önceden gerçekleşen felaketler olduğunu varsayar. Önceden gerçekleşen felaketler eğitim için kullanılırken yeni gerçekleşen felaket modelin performansını değerlendirmek için kullanılır. Gerçek dünya kullanımı için yeni bir felaket gerçekleşmesi durumunda bu felakete ait afet sonrası görüntüleri toplamak ve bunların uzmanlar tarafından manuel olarak etiketlenmesini beklemek ve hasar tespiti modelini bu verilerle eğitmek gerçekçi bir senaryo değildir. Gerçek dünya kullanımı için en ideal senaryo, önceden eğitilmiş bir hasar tespiti modeline sahip olmak ve yeni bir felaket gerçekleştiğinde modeli direkt olarak bu felakete ait afet sonrası görüntüler üzerinde test etmektir. Bu sebeple ID ve OOD veri kümesi ayarlarının gerçek dünya kullanımı için aralarında önemli farklar vardır. Modelleri ID kullanarak eğitmek ve model başarımlarını değerlendirmek yüksek sonuçlar almamızı sağlasa bile bu sonuçlar gerçekçi değildir. ID test kümesinde elde edilen sonuçların yanıltıcılığını gösterebilmek için OOD test kümesinde elde edilen sonuçlarla karşılaştırmaları öncelikli olarak sunmaktayız. ID ve OOD veri kümesi ayarı kullanılarak elde edilen sonuçlarda büyük bir genelleme boşluğu bulunduğu görülmektedir. Hasar değerlendirme modeli ID veri kümesi ayarı kullanarak eğitilip değerlendirildiğinde, elde edilen lokalizasyon F1 skoru ve hasar F1 skorunun, OOD veri kümesi ayarı kullanarak elde edilen lokalizasyon F1 puanı ve hasar F1 skorundan çok daha yüksek olduğu görülmektedir. ID üzerinde 0.7291 lokalizasyon F1 skoru ve 0.3540 hasar F1 skoru elde edilirken OOD üzerinde 0.5592 lokalizasyon F1 skoru ve 0.1411 hasar F1 skoru elde edilmiştir. ID üzerinde elde edilen localization F1 skorunun ve damage F1 skorunun OOD üzerinde elde edilen localization F1 skora ve damage F1 skoruna göre, sırasıyla yaklaşık %23 ve yaklaşık %60 yüksek olduğu görülmektedir. Tez çalışmasının ikinci kısmında hasar değerlendirme modelinin genelleme yeteneğini arttırmak için GAN modellerini kullanarak afet sonrası görüntüler ve afet sonrası maskeler oluşturup OOD test kümesi olarak düzenlenmiş verilerle modele ince ayar yapılmıştır. Bu GAN modelleri sayesinde yeni bir afet meydana geldiğinde, afet sonrası görüntülerin elde edilmesi beklenip bu görüntüleri manuel olarak uzmanlar tarafından maskelerini oluşturmaya gerek kalmadan hasar tespit modeline ince ayar yapmak mümkün olacaktır. Bu tezde, bina hasar tespiti için kullanılan İki Akışlı (Two-stream) ResNet50 modeli afet öncesi görüntüyü ve afet sonrası görüntüyü girdi olarak alan iki farklı kodlayıcıdan ve bir tane kod çözücüden oluşan iki akışlı bir U-Net yapısıdır. Afet sonrası görüntüleri OOD veri kümesi düzeninde üretmek için farklı giriş ve çıkış türlerini kullanan üç farklı GAN modeli ve bu görüntülerin maskelerini üretmek için de iki farklı model (biri zaten eğitilmiş hasar değerlendirme modeli) kullanılmıştır. Daha sonra üretilen bu verilerle hasar tespiti modeli ince ayar yapılmıştır. Önceden gerçekleşmiş felaketlere ait veriler kullanılarak afet sonrası görüntülerin ve maskelerin nasıl oluşacağı öğrenilmeye çalışılmış ve öğrenilen modellerle gerçekleşeceği düşünülen veya yeni gerçekleşmiş felaket senaryosu için afet sonrası sentetik eğitim (ince ayar) görüntüleri ve maskeleri üretilmeye çalışılmıştır. Afet sonrası sentetik eğitim görüntülerini üretmek için GAN_PostImage, GAN_PostImageWithPreMask ve GAN_MaskedPostImage isimli üç farklı yaratıcı model tasarlanmıştır. GAN_PostImage modeli üretici model için afet öncesi görüntüleri girdi olarak alırken çıktı olarak afet sonrası görüntüler üretmeye çalışmaktadır. GAN_PostImageWithPreMask ise afet öncesi görüntülere ek olarak afet öncesi maskeleri de girdi olarak almakta ve aynı şekilde afet sonrası görüntüler üretmeye çalışmaktadır. Bu modelin kullanılmasının sebebi ekstra afet öncesi maskelerin girdi olarak kullanılmasının başarımı ne kadar etkileyeceğinin incelenmek istenmesidir. Üçüncü model olan GAN_MaskedPostImage modeli de aynı şekilde girdi olarak afet öncesi görüntüler ve maskeleri kullanırken klasik afet sonrası görüntüler üretmeye çalışmak yerine maskelenmiş afet sonrası görüntüler üretmeye çalışmaktadır. Maskelenmiş afet sonrası görüntü, afet sonrası görüntüde arka plan olan pikselleri afet öncesi görüntüye ait piksellerin oluşturduğu, geriye kalan pikselleri ise orijinal afet sonrası görüntüye ait piksellerin oluşturduğu görüntüdür. Maskelenmiş görüntüleri kullanarak eğitilen üretici modelin sadece binaların afet sonrası nasıl gözükeceğini ve hasarın binaları nasıl etkileyeceğini öğrenmesi, görüntünün büyük çoğunluğunu oluşturan arka planlara odaklanmaması hedeflenmiştir. Üretilen afet sonrası görüntüler için afet sonrası maskeler üretmek için iki farklı model kullanılmaktadır. Bunlardan birincisi zaten eğitilmiş olan hasar değerlendirme modeli, diğeri ise GAN_Mask adını verdiğimiz GAN modelidir. Bu model afet öncesi görüntü ve maskeyi girdi olarak almakta ve afet sonrası maskeyi üretmektedir. Bu çalışmada kullanılan dört üretici ağ da aynı ayırt edici yapıyı kullanmaktadır. Ayırt edici ağ girdi olarak afet öncesi görüntüler ve maskeler, ve afet sonrası görüntüler ve maskeleri girdi olarak alarak veri kümesindeki bütün veri tiplerini kullanmaktadır. Ayırt edici ağlar sadece eğitim sırasında kullanıldığı ve felakete ait veriler üretirken bu ağlar kullanılmayacağı için üretim yaparken bu ağların bütün bilgiyi kullanması istenmiştir. GAN modellerinde üretici olarak“U-Net”tabanlı yapı kullanılırken, ayırt edici olarak“PatchGAN”sınıflandırıcı yapısı kullanılmıştır. GAN modelleri kullanarak üretilen verilerle ince ayar yapılarak modelin performansı arttırılmıştır. Afet sonrası görüntü üretimi için üç modelin, bunların maskeleri için de iki modelin kullanıldığı toplamda altı farklı kombinasyon ile afet sonrası görüntüler ve bu görüntülere karşılık gelen maskeler üretilmiştir. OOD veri kümesi düzeni kullanılarak eğitilen ve değerlendirilen İki Akışlı ResNet50 modeli bu altı farklı kombinasyonla üretilen verilerle ince ayar yapıldığında en iyi sonucun GAN_PostImageWithPreMask modelinin afet sonrası görüntüleri ürettiği ve GAN_Mask modelinin maskeleri ürettiği kombinasyonla elde edildiği görülmüştür. Bu modeller kullanılarak üretilen verilerle ince ayar yapıldığında lokalizasyon F1 skoru yaklaşık %16, hasar F1 skoru ise yaklaşık %28 artmıştır. Afet sonrası görüntü üretmek için kullanılan modellerin ürettiği görüntüler karşılaştırıldığında en gerçekçi görüntülerin GAN_MaskedPostImage üretmiş olduğu görülmesine rağmen bu resimler modele ince ayar yapmak için kullanıldığında sonuç beklendiği gibi olmamıştır. Modelin genelleme yeteneğini en az arttıran görüntü üreticisi bu model olmuştur. GAN_PostImage ve GAN_PostImageWithPreMask modellerinin ürettiği görüntüler kıyaslandığında gerçekçilik olarak birbirlerine yakın kalitede görüntüler ürettikleri görülmektedir. İnce ayar yapıldığında GAN_PostImageWithPreMask ile üretilen görüntülerin hasar tespiti modelinin yeteneğini daha çok geliştirmiş olduğu görülmüştür. Buna rağmen bu model ekstra olarak afet öncesi maskelere girdi olarak ihtiyaç duyduğu için bunları oluşturmak için harcanacak ilave efor ve zaman açısından ideal olmayabilir. Görüntüleri üretmek için girdi olarak sadece afet öncesi görüntülere ihtiyaç duyan GAN_PostImage modeliyle afet sonrası sentetik görüntülerin oluşturulduğu ve hali hazırda eğitilmiş olan İki Akışlı ResNet50 modeliyle maskelerin oluşturulduğu senaryoda ince ayar yapıldığında bile lokalizasyon F1 skorunun yaklaşık %9, hasar F1 skorunun ise yaklaşık %19 arttığı görülmüştür. Bu tezde, ID veri kümesi düzeni kullanılarak elde edilen sonuçların daha gerçekçi OOD veri kümesi düzeni kullanılarak elde edilen sonuçları temsil etmediği ve arada büyük farklar olabileceği gösterilmiştir. Gelecekte bu alanda yapılacak çalışmalarda gerçek dünya senaryolarını yansıtması sebebiyle OOD kullanılarak elde edilen sonuçların da paylaşılması gerektiğine inanmaktayız. Ayrıca GAN modelleri kullanılarak yeni gerçekleşen felakete ait sentetik veriler üretmek ve bu verilerle hasar değerlendirme modeline ince ayar yapmanın hasar değerlendirme modelinin genelleme yeteneğini arttırabileceği gösterilmiştir. Gelecekte yapılacak çalışmalarda farklı üretici modeller ve yapılar kullanılarak bu fikir daha da geliştirilebilir. Ayrıca maskelenmiş felaket sonrası görüntüler üretme fikri her ne kadar gerçekçi görüntüler üretmemizi sağlasa da bu veriler ince ayar yapmak için kullanıldığında hasar değerlendirme modelinin genelleme yeteneğinde istenen artış sağlanamamıştır. Gelecekte yapılacak benzer bir çalışmada maskelenmiş felaket sonrası görüntü üretme üzerine farklı modeller denenebilinir.

Özet (Çeviri)

Natural disasters cause loss of life and property in various parts of the world. After a natural disaster, where every second counts, it is of great importance that aid teams are quick to prevent losses as much as possible. For this reason, it is very important to be able to make a building damage assessment quickly and accurately. Since manual building damage assessment by humans on the ground is costly, slow and risky, in recent years, researchers in the field of building damage assessment have been working on systems that can automatically detect building damage using remote sensing images. In recent years, thanks to the availability of more data and access to more computational power, deep learning approaches have begun to be used in the field of building damage assessment. Considering real-world scenarios, one of the most important issues related to the deep learning based computer vision models used in this field is generalization ability. Ideally, we would like to have a global model which is capable of making damage assessment successfully in all disasters in the future. However, this is a difficult task as images of one disaster differs greatly from images of another due to reasons like structure of the buildings in the region, sunlight, position of clouds, shadow etc. On the other hand, many damage assessment models are evaluated in an unrealistic in-domain (ID) test set, which contains data from the same disasters in the training and test sets. We cannot obtain any idea about the generalization performance of the models by evaluating the models in this test set, and this setting, which is not close to real-world scenarios. The use of such an ID test set may overestimate the capability of the model and not predict its performance for real-world usage. In this thesis, we have focused on the generalization problem for the damage assessment. Images of each disaster are widely different than others and this affects the generalization performance of the model. We advocate the use of the out-of-domain (OOD) test set, which resembles real-world scenarios and is ideal for assessing the generalization capability of the model. To show the fallacy of the use of the ID test set, we first compare the results obtained in a ID test set with the results obtained in a OOD test set. We demonstrate that there can be a big gap between the ID test set and OOD test set results. Specifically, when the damage assessment model is trained and evaluated in the ID setting, the localization F1 score and damage F1 score obtained are much higher than the localization F1 score and damage F1 score obtained in the OOD setting. We argue that this ID setting, which is preferred and is the norm in many studies, does not reflect real-world scenarios and does not predict the out-of-domain performance of the model. Since in a real world scenario, the model is trained with data from previous disasters and tested on the data from the new disaster, it is not realistic to use data from a disaster both in the train and the test sets. Then, to increase generalization ability, we have generated post-disaster images and post-disaster masks using generative adverserial network (GAN) models and fine-tuned the model with this data. This way we were able to increase the generalization ability of the model. By utilizing these GAN models, when a new disaster occurs, fine-tuning the damage assessment model is made possible without having to wait for post-disaster images to be obtained and annotated. We have used three different GAN models using different input and output types to generate post-disaster images and two different models (one of which is already the trained damage assessment model) to generate the masks of these images.

Benzer Tezler

  1. Tez No

    800580

    Açık kaynaklı bütünleşik çoklu eklenti yöneticisi tasarımı ve uygulaması

    Design and implementation of an open-source integratedmultiple plugin manager

    MUSTAFA UÇAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET ÖZGÜR DOĞRU

  2. Tez No

    889803

    ФОРМУВАННЯ ЛІДЕРСЬКОЇ КОМПЕТЕНТНОСТІ В МАЙБУТНІХ КЕРІВНИКІВ-ЖІНОК ЗАГАЛЬНООСВІТНІХ ЗАКЛАДІВ ТУРЕЧЧИНИ

    Türkiye'de genel eğitim kurumlarında gelecekteki kadın yöneticilerinde liderlik yetkinliğinin oluşturulması

    AHMET YILDIRIM

    Doktora

    Ukraynaca

    Ukraynaca

    2021

    Eğitim ve ÖğretimCherkasy National University

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. TYMOFİİ DESİATOV

  3. Tez No

    548232

    Tablet bilgisayar uygulamalarını kullanarak hazırlanmış etkinlik çizelgelerinin otizm spektrum bozukluğu gösteren bireylerin serbest zaman becerilerine etkisinin incelenmesi

    Examining the effect of lesiure skills with prepared activity schedule by using tablet applications on individuals with autism spectrum disorders

    ÜNVER DİREM

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimNecmettin Erbakan Üniversitesi

    Özel Eğitim Ana Bilim Dalı

    PROF. DR. HAKAN SARI

  4. Tez No

    780474

    Formation and evaluation of sustainable development indicators of energy sector enterprises

    Başlık çevirisi yok

    UGUR TURAN

    Doktora

    İngilizce

    İngilizce

    2021

    EnerjiNational Technical University of Ukraine (Kiev Polytechnic Institute (KPI))

    DR. SAVEHENKO OLGA IGOREVNA

  5. Tez No

    893862

    Memory networks as neurocomputational models of cognitive functions

    Kognitif fonksiyonların sinirbilimsel modelleri olarak bellek ağları

    SİNAN ONUR ALTINUÇ

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilişsel Bilim Ana Bilim Dalı

    DOÇ. DR. MURAT PERİT ÇAKIR

Geri Dön