Geri Dön

Hasar değerlendirme süreçlerinde makine öğrenmesi ve derin öğrenme tabanlı hibrit model yaklaşımı

Machine learning and deep learning based hybrid model approach in damage assessment processes

  1. Tez No: 670341
  2. Yazar: KEREM ÖZÇELİK
  3. Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Science and Technology, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Hasar analizi, Hibrit yöntem, Yapay sinir ağları, Yapay zeka, Öğrenme, Damage analysis, Hybrid method, Artificial neural networks, Artificial intelligence, Learning
  7. Yıl: 2021
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektronik Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Son yıllarda, gittikçe popüler hale gelen makine öğrenmesi ve derin öğrenme kavramları hemen hemen her alanda önemli gelişmeleri beraberinde getirmiştir. Önemli gelişmelerin sağlandığı bu alanlardan biri de hasar değerlendirme alanıdır. Önceki dönemlerde manuel olarak yapılan bu hasar değerlendirmeleri de diğer alanlar gibi bu makine öğrenmesi ve derin öğrenme akımlarından etkilenmiştir. Özellikle doğal afetlerin sebep olduğu hasarlar üzerinde bu teknikler kullanılarak çeşitli araştırmalar gerçekleştirilmiştir. Bu öğrenme teknikleri sayesinde hasar değerlendirme sürecinde önemli oranda hız ve doğruluk artışı sağlanmıştır. Hız ve doğruluk alanlarındaki bu gelişmeler ile hasarlara daha doğru bir müdahale süreci sağlandığı gibi, çıktı sonuçlarının analizi ile benzer olası hasarlar için önceden müdahale imkanı da sağlanabilmiştir. Hasar değerlendirme çalışmalarında, olay öncesi ve sonrası görüntüler kullanılabildiği gibi, sadece olay sonrası görüntüler ile de hasar değerlendirilmesi yapılabilmektedir. Bu tez çalışması kapsamında, açık kaynak olarak sunulan Teksas Harvey Kasırgası sonrası elde edilmiş uydu görüntüleri üzerinde çalışılmıştır. Ancak çalışma sonucunda sunulacak modellerin başka türlü oluşan hasarların analizi çalışmalarında da başarılı olacağı düşünülmektedir. Bu çalışmada kullanılan veri setinde kasırga sonrası yapılar, hasarlı veya hasarsız olmasına göre iki sınıfa ayrılmaktadır. Bu sınıflandırma sürecinde öncelikle klasik makine öğrenmesi teknikleri ve derin öğrenme modelleri kullanılmıştır. Daha sonra ise bu modellerde alınan sonuçları geliştirmek için hibrit tasarımlı modeller ile çalışılmıştır. Klasik makine öğrenmesi tekniklerinde, makinenin karar verebilmesi için gerekli özniteliklerin tasarımcı tarafından elde edilip, algoritmalara verilmesi gerekmektedir. Bu aşamada özniteliklerin çıkarılmasında yönlendirilmiş gradyan histogramı (Histogram of Oriented Gradient-HOG) tekniği tercih edilmiştir. Sınıflandırma algoritmalarından, destek vektör makinesi, karar ağaçları, rassal orman ve naive bayes teknikleri tercih edilmiştir. Bu tekniklerdeki en iyi parametre değerleri için grid search yöntemi kullanılmıştır. En iyi parametre değerleri sayesinde tekniklerin verebildiği en yüksek değerler elde edilmiş ve tekniklerin sonuçları karşılaştırılmıştır. Karşılaştırma sonucunda, Destek vektör makinesi sınıflandırıcısı, diğer makine öğrenmesi tekniklerine göre daha yüksek bir sınıflandırma doğruluğu sağlarken derin öğrenme modelleri ile bu oranın geliştirilebileceği düşünülmüştür. Derin öğrenme modellerinde, klasik makine öğrenmesi tekniklerinden farklı olarak öznitelik çıkarılması işlemi de model tarafından gerçekleştirilmektedir. Çalışma kapsamında, farklı derin öğrenme modellerinden görüntüler üzerinde iyi sonuçlar veren ve en çok tercih edilen ağlardan olan evrişimli sinir ağı tabanlı modeller tercih edilmiştir. Bu modellerde ilk katmanlarda temel seviyede öznitelikler elde edilirken, modelin derin kısımlarında ayırt edici öznitelikler çıkarılmaktadır. Öznitelikler elde edildikten sonra sınıflandırma işleminin yapılacağı tam bağlantılı katmana bu öznitelikler aktarılmaktadır. Tam bağlantılı katman üzerinde ileri yayılım ve geri yayılım teknikleri kullanılarak öğrenme işlemi gerçekleştirilmekte ve verinin çıktısına karar verilmektedir. Derin öğrenme aşamasında ilk olarak literatür incelenerek evirişimli sinir ağı tabanlı sıfırdan bir model oluşturulmuştur. İlgili modelin derinliği ve optimal parametreleri çeşitli denemeler sonucunda belirlenmiştir. Sıfırdan eğitilen bu model sonuç olarak %95 seviyelerinde başarı elde edebilmiştir. Sıfırdan eğitilen model dışında, derin öğrenme modellerinden VGG16, VGG19, ResNet50, ResNet152 ve DenseNet121 modellerinin kullanılması tercih edilmiştir. Bu modeller ImageNet veri seti üzerinde eğitilmiş ve yine aynı isimli yarışmada kendilerini kanıtlamış yöntemlerdir. Bu modelleri Harvey kasırgası veri seti üzerinde kullanılabilmek için transfer öğrenme tekniği, veriye uygun şekilde ayaralar yapılarak kullanılmıştır. Modellerde oluşan aşırı uyum problemini önlemek için ise dropout katmanı, öğrenme katsayısının başlangıç değerinin denemeler sonunda uygun şekilde ayarlanması ve erken durdurma tekniği kullanılmıştır. Klasik transfer öğrenmesi yöntemi ile en yüksek test doğruluğunu %97.5 değeri ile ResNet152 modeli sağlamıştır. Bu aslında yüksek bir değer olmasına rağmen, hibrit modeller ile bu değerin artırılabilirliği üzerine çalışılmıştır. Klasik şekilde gerçekleştirilen transfer öğrenme yöntemleriyle iyi sonuçlar alınmıştır. VGG16 ve VGG19 sıfırdan eğitilen modele yakın sonuçlar verirken, DenseNet ve ResNet modelleri daha yüksek doğruluk sağlamıştır. Transfer öğrenmesi yöntemi ile eğitilen bu modellerden en yüksek test doğruluğunu %97.5 değeri ile ResNet152 modeli sağlamıştır. Bu aslında yüksek bir değer olmasına rağmen, hibrit model tasarımları ile bu değerin artırılabilirliğine bakılmak istenmiştir. Bu tasarımlarda öncelikle, özyinelemeli ağlardan olan Uzun kısa süreli bellek (Long Short Term Memory-LSTM) ağı ilgili modellerin tam bağlantılı katmanlarına dahil edilmiştir. Bu yöntem ile tüm hazır modellerin ve sıfırdan oluşturulmuş modelin sağladığı doğruluk değerinde artış gözlenmiştir. Buna ilave olarak sadece bir derin öğrenme modelinin eğitilmesi yerine, birden fazla derin öğrenme modelinin eğitimi sonucu elde edilen özniteliklerin birleştirilmesi tekniği tasarıma eklenmiştir. Uygulanan iki tekniğinin birlikte kullanılması ile birlikte önceki modellere göre çok daha iyi sonuçlar elde edilmiştir. Öznitelik birleştirme ve LSTM'in uygulandığı bütün kombinasyonlarda klasik tekniklere göre daha iyi sonuçlar elde edildiği gözlenmiştir. Bu önerilen tasarımın ve çeşitli kombinasyonlarının sonuçları bölüm sonunda deneysel sonuçlar bölümünde sunulmuştur. Çalışmalar sonucunda en iyi sonuç veren modelde ResNet152 ve DenseNet121 modellerinin öznitelikleri birleştirilmiş, tam bağlantılı katmanda ise LSTM ağı kullanılmıştır. İlgili model ile test doğruluğu %98.4 seviyesine çıkarılmıştır. Bu çalışma ile yüksek doğruluk değerine sahip bir modelde bile, LSTM ağının tam bağlantılı katmanda kullanımı ve modellerde öznitelik birleşimi işlemi ile sonuçların iyi bir oranda artırılabildiği görülmüştür.

Özet (Çeviri)

Machine learning and deep learning concepts, which have become increasingly popular in recent years, have provide significant developments in almost every field. One of these areas where important developments have been achieved is damage analysis and damage classification areas. These damage assessments, which were made manually in the previous periods, were also affected by these machine learning and deep learning currents like other areas. Various studies have been carried out using these techniques, especially on the damages caused by natural disasters. Thanks to these learning techniques, a significant increase in speed and accuracy has been achieved in the damage assessment process. With these developments in the fields of speed and accuracy, a more accurate intervention process was provided to the damages, as well as the opportunity to intervene in advance for possible damages similar to the analysis of output results. In damage assessment studies, pre- and post-event images can be used, as well as damage assessment can be made only with post-event images. Within the scope of this thesis, the satellite images obtained after Texas Hurricane Harvey, which are presented as open source, have been studied. However, it is thought that the models to be presented at the end of the study will be successful in the analysis of damages caused otherwise. In the data set used in this study, post-hurricane structures are divided into two classes according to whether they are damaged or not. In this classification process, firstly, classical machine learning techniques and deep learning models were used. After that, hybrid design models were used to improve the results obtained in these models. In classical machine learning techniques, the necessary features must be obtained by the designer and given to the algorithms in order for the machine to make a decision. At this stage, the HOG (Histogram of Oriented Gradient) technique was preferred to extract the features. The HOG technique is simply a technique that deals with the magnitude and orientations of pixels. The features obtained with the HOG technique on the images are given to the classification algorithms. In this study, support vector machine, decision trees, random forest and naive bayes techniques are preferred among the classification algorithms. Grid search method was used for the best parameter values in these techniques. Thanks to the best parameter values, the highest values that the techniques can give were obtained and the results of the techniques were compared. As a result of comparison, the support vector machine classifier provided a higher classification accuracy than other machine learning techniques. However, it is thought that this ratio can be improved with deep learning models. In deep learning models, unlike classical machine learning techniques, feature extraction is also performed by the model. This difference is the most important difference that separates deep learning models from classical machine learning techniques. Within the scope of the study, convolutional neural network-based models from different deep learning models were preferred. Convolutional neural network based models are one of the most preferred networks that give good results especially on images. Convolutional neural network models include different layers for various purposes. They extract feature maps from the data studied on these layers. In these models, while basic level features are obtained in the first layers, distinctive features are extracted in the deep parts of the model. After the features are obtained, these features are transferred to the fully connected layer where the classification process will be performed. The learning process is performed using forward propagation and back propagation techniques on the fully connected layer and the output of the data is decided. In the deep learning phase, firstly, a convolutional neural network-based model was created by examining the literature. The depth of the relevant model has been determined as a result of various trials. Again, some layers in the model and the selection of optimization algorithm are shaped according to the results. This model, which was trained from scratch (zero-trained), was able to achieve %95 success as a result. After the training of the model designed from scratch (zero-trained), it was preferred to use the deep learning models VGG16, VGG19, ResNet50, ResNet152 and DenseNet121. These models are trained on the ImageNet data set and have proven themselves in the competition of the same name. Transfer learning technique has been used to use these models on Hurricane Harvey data set. While the learned parameters in the convolutional neural network (CNN) layers of these models are transferred by transfer learning, their fully connected layers have been removed so that they can work properly in the used data set. Instead of these layers, personally preferred, hidden layers were added and two-class output layers were included. In order to prevent overfitting problem, the dropout layer was added after the hidden layers, at the fully connected layer stage. Despite the use of optimization techniques that adjust the learning rate adaptively, the initial value of the learning rate is also an important criterion for overfitting problem. For this reason, the initial value of the learning rate has been optimized through various trials, thus preventing the problem of overfitting significantly. Again, the early stopping technique was used to avoid overfitting problems. If there is no learning by the number of iterations determined by the early stopping technique, the model is stopped to avoid overfitting. In the models with these arrangements, only parameter values in fully connected layers have been learned as new. These procedures have enabled the implementation of a classical transfer learning. Good results have been obtained with classical transfer learning methods. While VGG16 and VGG19 yielded results close to the zero-trained model, DenseNet and ResNet models provided higher accuracy. Among these models trained with the transfer learning method, the ResNet152 model provided the highest test accuracy with a value of %97.5. Although this is actually a high value, it has been aimed to increase this value with hybrid model designs. In these designs, the LSTM (Long Short Term Memory) network, which is one of the recursive networks, is included in the fully connected layers of the relevant models. With this method, an increase in the accuracy provided by all ready-made models and the zero-trained model has been observed. In addition, instead of training only one deep learning model, the technique of concatenating the features obtained as a result of the training of more than one deep learning model was added to the design. With this addition, much better results have been obtained compared to previous models. It has been observed that in all combinations where feature concatenating and LSTM are applied, better results are obtained compared to classical techniques. The results of this proposed design and its various combinations are presented in the experimental results section at the end of the section. In the model that gives the best results, the features of the ResNet152 and DenseNet121 models are concatenated, and the LSTM network is used in the fully connected layer. Test accuracy has been increased to %98.4 with the relevant model. With this study, it has been observed that even in a model with high accuracy, the results can be increased at a good rate by using the LSTM network in the fully connected layer and the process of feature concatenate in models.

Benzer Tezler

  1. Tez No

    1009525

    A framework for composite wind turbine blades: From material development to structural optimisation and ml-enhanced damage detection

    Rüzgar türbinleri için hibrit kompozit temelli kanat malzemesi geliştirilmesi, yapısal optimizasyonu ve makine öğrenmesi ile hasar tespiti ve yapısal analiz entegrasyonu

    KEMAL HASIRCI

    Doktora

    İngilizce

    İngilizce

    2026

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ALAEDDİN BURAK İREZ

  2. Tez No

    1010306

    Kütle tasarımı çalışmaları için yapay zeka tabanlı artırılmış gerçeklik

    Ai-based augmented reality for mass design studies

    SÜHEYLA MÜGE HALICI

    Doktora

    Türkçe

    Türkçe

    2026

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. LEMAN FİGEN GÜL

  3. Tez No

    940857

    Design of a test setup for steel wire rope fatigue testing and development of an AI-based damage detection method

    Çelik halat yorulma testi için bir test düzeneğinin tasarımı ve yapay zeka tabanlı hasar tespit yönteminin geliştirilmesi

    MOHSEN SEYYEDİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. CEVAT ERDEM İMRAK

  4. Tez No

    862639

    Uzaktan eğitimde öğrencilerin duygularını yapay zekâ ile tespit ederek dönüt sağlayan ortamın tasarımı ve değerlendirilmesi

    Design and evaluation of an environment that provides feedback by detecting students emotions with artificial intelligence in distance education

    AHMET DOĞUKAN SARIYALÇINKAYA

    Doktora

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimTrabzon Üniversitesi

    Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı

    PROF. DR. HASAN KARAL

  5. Tez No

    946291

    Enhancing disaster management through deep learning: Building damage assessment using satellite imagery

    Derin öğrenme ile afet yönetiminin geliştirilmesi: Uydu görüntüleri kullanılarak bina hasar tespiti

    MOHAMMADREZA MOHAMMADIAHANI

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Afet ve Acil Durum Yönetimi Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. DİDEM SALOĞLU DERTLİ

Geri Dön