Uzaktan algılama görüntülerinde manipülasyon tespiti
Detection of manipulation in remote sensing images
- Tez No: 933455
- Danışmanlar: PROF. DR. BANU DİRİ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 110
Özet
Bu çalışma, uzaktan algılama görüntülerinde manipülasyon tespiti için dengeli veri kümeleri kullanarak, hibrit derin öğrenme modelleriyle bu görüntülerin tespitine ve uzaktan algılama görüntülerine özgü Çekişmeli Üretici Ağ modellerinin tasarlanmasına odaklanmaktadır. Uzaktan algılama görüntülerinde manipülasyon tespiti, özellikle geleneksel yöntemlerle oluşturulan dengesiz veri kümeleri nedeniyle sınıflandırma modellerinin genelleme yeteneğini sınırlayan önemli bir problemdir. Manipülasyon tekniklerindeki çeşitlilik ve görüntülerdeki dengesizlik, tespit süreçlerini zorlaştırarak daha karmaşık hale getirmekte ve önyargılı karar verme süreçlerine neden olmaktadır. Son yıllarda Çekişmeli Üretici Ağ (GAN) tabanlı yöntemlerin gelişmesi, manipüle edilmiş görüntülerin gerçeğe yakın bir şekilde üretilmesini sağlamıştır. Fakat bu durum, manipülasyonların tespit edilmesini daha zor hale getirmiştir. Bu çalışmada manipülasyon tespit modellerinin performansını artırmaya yönelik iki temel yaklaşım benimsenmiştir. İlk olarak, GAN tabanlı dengeli görüntü üretimiyle sınıf dengesizliğinden kaynaklanan önyargılar minimize edilmiştir. İkinci olarak, hibrit derin öğrenme modelleri kullanılarak manipülasyon tespitinin doğruluk oranı artırılmıştır. Manipüle edilmiş görüntülerin üretimi için öncelikle literatürde yaygın olarak kullanılan DCGAN ve CycleGAN modelleri hem RGB hem de multispektral uzaktan algılama görüntülerinde çalışacak şekilde uyarlanmıştır. Bununla birlikte, manipüle edilmiş uzaktan algılama görüntüleri üretmek için yeni GAN modelleri geliştirilmiştir. SASGAN, SEGAN-GP ve SWITGAN olarak adlandırılan bu modeller, uzaktan algılama görüntü üretiminde gerçekçi görüntüler ortaya koyabilmesi için tasarlanmıştır. GAN modellerinin ürettiği görüntülerin kalite değerlendirmesi, Frechet Başlangıç Mesafesi (Frechet Inception Distance- FID) metriği kullanılarak yapılmış ve SEGAN-GP modelinin orijinal görüntülere en yakın manipüle edilmiş görüntüleri ürettiği görülürken, SWITGAN modelinin en uzak görüntü üretimine sahip olduğu tespit edilmiştir. Manipüle edilmiş görüntülerin tespit edilmesi için transfer öğrenme tabanlı hibrit modeller önerilmiş ve bu modellerin manipülasyon tespitindeki etkinliği incelenmiştir. Sınıflandırma aşamasında, farklı transfer öğrenme modelleri hem sınıflandırıcı hem de önerilen hibrit modelde özellik çıkarıcı olarak kullanılmıştır. Çalışmada önerilen TransStacking modeli, en yüksek sınıflandırma başarısını göstermiştir. Bunun yanında TransVoting ve Transferemble modellerinin de manipüle görüntüleri belirlemede başarılı olduğu anlaşılmıştır. Deneysel sonuçlar, dengeli veri kümelerinin oluşturulmasının manipülasyon tespit modellerinin performansını önemli ölçüde artırdığını ve hibrit derin öğrenme modellerinin manipülasyonları yüksek performansla ortaya koyabildiğini göstermektedir. Çalışmada, uzaktan algılama görüntülerinde manipülasyon tespiti konusuna yenilikçi yaklaşımlar getirilerek literatüre önemli katkılar sunulmuştur. Önerilen hibrit sınıflandırma teknikleri hem uzaktan algılama alanında hem de manipülasyon tespiti gerektiren diğer uygulama alanlarında gelecekteki araştırmalara yön verecek potansiyele sahiptir. Ayrıca, yeni tasarlanan GAN modelleriyle literatüre 3 tane yeni GAN modeli kazandırılmış ve birçok farklı alanda kullanılabilecek bu modeller sayesinde yapay zekâ alanındaki yeni çalışmalara katkı sağlayacağı düşünülmektedir.
Özet (Çeviri)
This study focuses on the detection of manipulation in remote sensing images using balanced datasets, detection of these images with hybrid deep learning models and design of Generative Adversarial Network models specific to remote sensing images. Manipulation detection in remote sensing images is an important problem that limits the generalisation ability of classification models, especially due to imbalanced datasets generated by traditional methods. The diversity in manipulation techniques and the imbalance in the images make the detection process more complex and lead to biased decision making. In recent years, the development of Generative Adversarial Network (GAN)-based methods has enabled manipulated images to be produced in a realistic manner. However, this has made the detection of manipulations more difficult. In this study, two main approaches are adopted to improve the performance of manipulation detection models. Firstly, the biases due to class imbalance are minimised by GAN-based balanced image generation. Secondly, hybrid deep learning models are used to improve the accuracy of manipulation detection. For the generation of manipulated images, firstly, the DCGAN and CycleGAN models, which are widely used in the literature, are adapted to work on both RGB and multispectral remote sensing images. However, new GAN models have been developed to produce manipulated remote sensing images. These models, called SASGAN, SEGAN-GP and SWITGAN, are designed to produce realistic images in remote sensing image production. The quality assessment of the images produced by the GAN models was performed using the Frechet Inception Distance (FID) metric and it was found that the SEGAN-GP model produced the manipulated images closest to the original images, while the SWITGAN model produced the most distant images. Transfer learning based hybrid models are proposed for the detection of manipulated images and the effectiveness of these models in manipulation detection is investigated. In the classification phase, different transfer learning models are used as both classifiers and feature extractors in the proposed hybrid model. The TransStacking model proposed in the study showed the highest classification success. In addition, TransVoting and Transferemble models were also found to be successful in identifying manipulated images. Experimental results show that the creation of balanced datasets significantly improves the performance of manipulation detection models and hybrid deep learning models can detect manipulations with high performance. In this study, innovative approaches to the issue of manipulation detection in remote sensing images have been introduced and significant contributions to the literature have been presented. The proposed hybrid classification techniques have the potential to guide future research both in the field of remote sensing and in other application areas requiring manipulation detection. In addition, with the newly designed GAN models, new three GAN models have been introduced to the literature and it is thought that these models, which can be used in many different fields, will contribute to new studies in the field of artificial intelligence.
Benzer Tezler
- Türkiye'nin kıyı çizgisi değişimleri ile bunların çevre ve mühendislikteki etkileri
Changes of the shore lines of Turkey and their effects on the environment the engineering
H. YILMAZ BAL
Doktora
Türkçe
2000
Jeoloji MühendisliğiÇukurova ÜniversitesiJeoloji Mühendisliği Ana Bilim Dalı
PROF. DR. CAVİT DEMİRKOL
- Uzaktan algılama yöntemleri ile Köyceğiz bölgesindeki sığla ormanlarının değişim analizi
The Change analysis of liquidamber forest areas in Köyceğiz region by remote sensing methods
EMİNE İSPİR MALKAN
Yüksek Lisans
Türkçe
2000
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiJeodezi ve Fotogrametri Mühendisliği Ana Bilim Dalı
DOÇ. DR. FİLİZ SUNAR ERBEK
- Uzaktan algılama verileriyle orman yangını analizi
Forest fire analysis with remote sensing data
COŞKUN ÖZKAN
Yüksek Lisans
Türkçe
1998
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiJeodezi ve Fotogrametri Mühendisliği Ana Bilim Dalı
DOÇ. DR. FİLİZ SUNAR
- Elmalı ve Alibey su havzalarının uydu görüntü verileriyle izlenmesi ve bilgi sistemi oluşturma olanakları
Başlık çevirisi yok
ÇİĞDEM GÖKSEL
- Uzaktan algılama görüntülerinde nesne tespiti ve sayımı için evrişimli sinir ağları tabanlı yeni modellerin geliştirilmesi
Development of new models based on convolutional neural network for object detection and counting in remote sensing images
ERSİN KILIÇ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERKAN ÖZTÜRK