Hyperspectral image classification with active learning and Bayesian convolutional neural networks
Aktif öğrenme ve Bayes evrişimsel sinir ağları ile hiperspektral görüntü sınıflandırma
- Tez No: 816861
- Danışmanlar: PROF. DR. GÖKHAN BİLGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 129
Özet
Hiperspektral görüntülerin (HSG) sınıflandırılması, yüzlerce dar bant radyasyon ölçümü tarafından sağlanan detaylı bilgi bolluğu nedeniyle birçok uzaktan algılama alanında önemlidir. HSG'nin yüksek spektral çözünürlüğü, geleneksel çoklu spektral görüntülemeye kıyasla elektromanyetik spektrumun daha kapsamlı bir şekilde karakterize edilmesine olanak tanır. HSG sınıflandırması, bir HSG veri setindeki her pikseli birkaç önceden tanımlanmış sınıf veya kategoriye atamayı içerir. Bu süreç, uzaktan algılama, jeobilim, çevresel izleme, jeoloji, arazi kaplama haritalama, bitki sağlığı değerlendirmesi, mineral tanımlama, nesne tespiti, değişim tespiti ve diğer sivil ve savunma uygulamaları dahil olmak üzere çeşitli alanlarda değerli içgörüler çıkarmayı ve bilinçli kararlar vermenizi sağlar. Genel olarak, hiperspektral görüntülerin sınıflandırılması, HSG verileri tarafından sağlanan zengin spektral bilgiyi kullanarak dünya yüzeyinin daha derin bir anlayışını elde etme ve çeşitli alanlarda bilinçli karar verme süreçlerini kolaylaştırmada önemli bir rol oynar. Günümüzde, derin öğrenme (DÖ) yöntemleri, hiperspektral görüntü sınıflandırmasında dikkate değer performans sergilemiştir. Bununla birlikte, HSG sınıflandırması için DÖ modellerinin kullanımındaki zorluklardan biri, genellikle nadir ve maliyetli olan büyük miktarda etiketli eğitim verisine ihtiyaç duymasıdır. Bunun yanı sıra, Bayes Evrişimli Sinir Ağları (Bayes ESA), özellikle sınırlı etiketli verilerle uğraşılırken HSG sınıflandırması için güçlü bir yaklaşım olarak ortaya çıkmıştır. Bayes ESA, ağ ağırlıklarındaki belirsizliği modellemek için Bayes prensiplerini içerir ve daha güvenilir tahminler ve aşırı uymaya karşı dayanıklılık sağlar. Bayes Aktif Öğrenme ile Anlaşmazlık (BAÖA) yöntemi, Bayes CNN'lerin genel performansını iyileştirmek için kullanılabilecek bir yöntemdir. BALD, modellerin belirsizliğinden faydalanarak açıklayıcı örnekleri seçen bir etkin öğrenme stratejisidir. Ağın tahminleriyle modelin parametreleri arasındaki karşılıklı bilgiyi ölçerek en belirsiz örnekleri belirler ve bunlar daha sonra bir uzman veya alan uzmanı tarafından etiketlenir. Bu bilgilendirici örnekleri eğitim setine tekrar tekrar dahil ederek, Bayes CNN'nin performansı sınırlı etiketli veriye rağmen geliştirilebilir. Bu nedenle, Bayes ESA'ların ve BAÖA tekniğinin birleşimi, HSG sınıflandırması için umut vaat eden bir çözüm sunar. Bu yaklaşım, sınırlı etiketli verinin daha etkili bir şekilde kullanılmasına ve modelin genel performansının iyileştirilmesine olanak tanır. Bu tez bağlamında, hiperspektral görüntülerin sınıflandırılması öncelikle Bayes ESA yaklaşımı kullanılarak gerçekleştirilmiştir. Bayes ESA'dan elde edilen sonuçları karşılaştırmak için çeşitli farklı yöntemler de kullanılmıştı:, bunlar arasında Destek Vektör Makineleri (DVM) ve Rastgele Orman (RO) gibi klasik makine öğrenimi teknikleri ile Inception, ResNet, Xception, NasNet ve EfficientNet gibi beş transfer öğrenme modeli de yer almaktadır. Değerlendirme için Pavia Üniversitesi ve Pavia Merkez veri kümeleri kullanılmıştır. Özellikle, en yüksek doğruluk oranları Xception için 97% ve RBF çekirdeğiyle DVM için 96% olmuştur. Bununla birlikte, Bayes ESA yöntemi Pavia Üniversitesi veri kümesine uygulandığında 99.7%'lik en iyi doğruluk oranını göstermiştir. Pavia Merkez veri kümesi için ise ilgili doğruluk oranları Xception için 99% ve SVM için 98% olarak belirlenmiştir. Ayrıca, Bayes ESA yöntemi 99.8%'lik en yüksek doğruluk oranını göstermiştir. Bu çalışmada Bayes ESA yaklaşımını geliştirmeye odaklanmak için daha karmaşık bir veri kümesi kullanılarak sınıflandırma performansı değerlendirilmiştir. Pavia Üniversitesi ve Pavia Merkez veri kümelerinde gözlemlenen yüksek doğruluk oranları nedeniyle Indian Pines veri kümesi seçilmiştir. Burada, Bayes ESA ortalama %90 doğruluk oranına ulaşmıştır. Aktif öğrenme tekniği olan BAÖA ile bırakma (dropout) fonksiyonu kullanarak %8'lik bir iyileştirme elde edilmiş ve ortalama doğruluk oranı %98 olarak gerçekleşmiştir.
Özet (Çeviri)
The classification of hyperspectral images (HSI) is crucial in numerous remote sensing fields due to the wealth of detailed information provided by the hundreds of narrow-band radiation measurements. The high spectral resolution of HSI allows for a more comprehensive characterization of the electromagnetic spectrum compared to traditional multispectral imaging. HSI classification involves assigning each pixel in an HSI dataset to one of several predefined classes or categories. This process enables researchers and practitioners to extract valuable insights and make informed decisions in various domains, including remote sensing, geoscience, environmental monitoring, geology, land cover mapping, vegetation health assessment, mineral identification, object detection, and change detection and other civil and defense applications. Overall, the classification of hyperspectral images plays an important role in leveraging the rich spectral information provided by HSI data to gain a deeper understanding of the earth's surface and facilitate informed decision-making across various domains. Nowadays, Deep Learning (DL) methods have demonstrated remarkable performance in hyperspectral image HSI classification. However, one of the challenges in using DL models for HSI classification is the requirement for large amount of labelled data of training, which is often scarce and costly to acquire. Besides that, Bayesian Convolutional Neural Networks (Bayesian CNNs) have emerged as a robust approach for HSI classification, particularly when dealing with limited labelled data. Bayesian CNN's incorporate Bayesian principles to model uncertainty in the network weights, allowing for more reliable predictions and robustness against overfitting. The Bayesian Active Learning by Disagreement (BALD) method is one way that can be utilized to improve the overall performance of Bayesian CNNs. BALD is an active learning strategy that selects informative samples for annotation by exploiting the uncertainty of the models. It measures the mutual information between the predictions of the network and the parameters of the model to identify the most uncertain samples, which are then annotated by an expert or domain specialist. By iteratively incorporating these informative samples into the training set, the performance of the Bayesian CNN can be enhanced, even with limited labelled data. Therefore, the combination of Bayesian CNNs and the BALD technique offers a promising solution for HSI classification, allowing for more effective utilization of limited labelled data and improving the overall performance of the model. In the context of this thesis, the classification of hyperspectral imagery is primarily conducted using the Bayesian CNN approach. To compare the results obtained from the Bayesian CNN, various other methods were employed, This entails the incorporation of conventional machine learning methodologies like Support Vector Machines (SVM) and Random Forest (RF), as well as Five transfer learning models, namely Inception, ResNet, Xception, NasNet, and EfficientNet. Pavia University and Pavia Centre Data sets are utilized for the evaluation. Notably, the highest accuracies achieved are 97% for Xception and 96% for SVM with an RBF kernel, while the Bayesian CNN method exhibited the best accuracy of 99.7% when applied to the Pavia University dataset. For the Pavia Centre dataset, the corresponding accuracies are 99% for Xception and 98% for SVM. Furthermore, the Bayesian CNN method has demonstrated the highest accuracy of 99.8%.To focus on enhancing the Bayesian CNN approach in this study, its classification performance is assessed using a more complex dataset. Due to the exceptionally high accuracy observed in the Pavia University and Pavia Centre datasets, the Indian Pines dataset is chosen. With this data set, the Bayesian CNN achieved an average accuracy of 90%. By employing the active learning technique with the BALD acquisition function by dropout BALD, an improvement of 8% is obtained, resulting in an average accuracy of 98%.
Benzer Tezler
- Hyperspectral image classification using an active deep learning framework including edge preserving filters
Hiperspektral görüntülerin kenar koruyucu filtreler içeren bir aktif derin öğrenme çerçevesiyle sınıflandırılması
ZAINAB DHEYAA MOHAMMED AL-SAMMARRAIE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ CAN KARACA
- Hiperspektral görüntülerde yarı güdümlü öğrenme teknikleri
Semi supervised learning techniques on hyperspectral images
MUHAMMET SAİD AYDEMİR
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN BİLGİN
- Hiperspektral görüntüleme ve makine öğrenmesi teknikleri ile küflü kuru incirlerin tahribatsız olarak tespiti
Hyperspectral imaging and machine learning techniques for non-invasive detection of fungal contaminated dried figs
ALİ GÜNEŞ
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUNCAY AYDOĞAN
- Uzaktan algılama teknolojileri kullanılarak denizlerde kirliliğin izlenmesi: Marmara Denizi örneği
Monitoring of pollution in the sea using remote sensing technologies: The case of the Sea of Marmara
BUSE TIRMANOĞLU
Yüksek Lisans
Türkçe
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. NEBİYE MUSAOĞLU
- Offshore oil slick detection with remote sensing techniques
Uzaktan algılama teknikleri ile denizel petrol sızıntılarının tespiti
SERTAÇ AKAR
Yüksek Lisans
İngilizce
2007
Jeodezi ve FotogrametriOrta Doğu Teknik ÜniversitesiJeoloji Mühendisliği Ana Bilim Dalı
DOÇ. DR. M. LÜTFİ SÜZEN
DOÇ. DR. NURETDİN KAYMAKÇI