Change captioning in multispectral images
Multispektral görüntülerde değişim özetleme
- Tez No: 1021544
- Danışmanlar: DOÇ. DR. ALİ CAN KARACA
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Uzaktan algılama, Deep learning, Remote sensing
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Doğal süreçler ve insan faaliyetleri sonucu ortaya çıkan çevresel değişimlerin, zamanında analiz, yorumlama ve karar verme süreçlerini destekleyecek şekilde etkin biçimde izlenmesi gerekmektedir. Bu bağlamda uzaktan algılama teknolojileri, geniş coğrafi alanları yinelenen biçimde gözlemleyebilme ve farklı spektral bantlardan bilgi sağlayabilme özellikleri sayesinde önemli avantajlar sunmaktadır. Değişim tespiti literatürde kapsamlı biçimde incelenmiş olsa da mevcut yaklaşımların büyük bölümü, yalnızca bir değişimin meydana gelip gelmediğini gösteren ikili çıktılara odaklanmakta; değişimin türü, konumu, büyüklüğü ya da anlamsal içeriği hakkında yeterli açıklama sunmamaktadır. Bu sınırlılık, özellikle uzman olmayan kullanıcılar açısından değişim analizi sonuçlarının yorumlanabilirliğini azaltmaktadır. Bu tez, özellikle çok spektrumlu görüntülere odaklanarak uzaktan algılama görüntülerinde değişim özetleme problemini ele almakta ve değişim analizinin betimleyici niteliğini ve yorumlanabilirliğini artırmayı amaçlayan, birbirini tamamlayan üç çalışma sunmaktadır. İlk çalışma, çok spektrumlu görüntü değişim özetleme (MSICC) için veri ve modelleme temelinin oluşturulmasına odaklanmaktadır. Bu kapsamda, insan tarafından yazılmış değişim açıklamalarıyla eşleştirilmiş iki zamanlı Sentinel-2 görüntü çiftlerinden oluşan büyük ölçekli bir veri kümesi olarak MOSAIC-SEN2-CC veri kümesi sunulmuş ve mevcut uzaktan algılama değişim özetleme mimarilerinin doğrudan çok spektrumlu görüntü girdileri üzerinde çalışabilmesini sağlamak amacıyla MSICC uyarlama çerçevesi geliştirilmiştir. İkinci çalışma, kategori bilgisinin açıklama üretim sürecine nasıl dâhil edilebileceğini incelemektedir. Bu amaçla, kategori düzeyindeki temsillerle modeli yönlendirerek daha doğru, sahneyle tutarlı ve anlamsal açıdan daha odaklı açıklamalar üreten Kategori Odaklı Değişim Özetleme (CGCC) çerçevesi önerilmiştir. Üçüncü çalışma ise problemi, üretilen açıklamaları destekleyen görsel kanıtlar sunmak amacıyla değişimle ilişkili ve spektral indis tabanlı haritaların yardımcı olarak üretildiği açıklanabilir ve çok görevli bir değişim özetleme yapısına doğru genişletmekte; bu doğrultuda X-Change çerçevesi sunulmaktadır. Önerilen yöntemler, BLEU-1'den BLEU-4'e, ROUGE-L, CIDEr-D, METEOR ve SPICE metrikleri açısından literatürdeki güncel yaklaşımlarla karşılaştırmalı olarak değerlendirilmiştir. Deneysel sonuçlar, çok spektrumlu bilginin kullanımı, kategori rehberli modelleme ve açıklanabilir çok görevli öğrenmenin, üretilen değişim özetlerinin kalitesini, anlamsal tutarlılığını ve yorumlanabilirliğini artırdığını göstermektedir. Genel olarak bu tez, yeni bir kıyaslama veri kümesi, göreve özgü modelleme yaklaşımları ve değişim özetleme için açıklanabilir bir çerçeve sunarak literatüre katkıda bulunmaktadır. Elde edilen bulgular ayrıca, bu çalışmaların afet değerlendirme, çevresel izleme, kentsel analiz ve yeryüzü değişimlerinin sürekli gözlemini gerektiren diğer uygulama alanlarında da önemli bir potansiyele sahip olduğunu ortaya koymaktadır.
Özet (Çeviri)
Environmental changes caused by natural processes and human activities must be monitored effectively to support timely analysis, interpretation, and decision-making. In this context, remote sensing technologies provide significant advantages through their ability to repeatedly observe large geographic areas and to acquire information from different spectral bands. Although change detection has been extensively studied in the literature, most existing approaches focus on binary outputs that only indicate whether a change has occurred, without adequately explaining the type, location, extent, or semantic content of that change. This limitation reduces the interpretability of change analysis results, particularly for non-expert users. This thesis addresses the problem of remote sensing image change captioning with a particular focus on multispectral imagery and presents three complementary studies aimed at improving the descriptive quality and interpretability of change analysis. The first study concentrates on establishing a data and modeling foundation for multispectral image change captioning (MSICC). In this scope, the MOSAIC-SEN2-CC dataset was introduced to provide a large-scale dataset of bi-temporal Sentinel-2 image pairs paired with human-written change descriptions, and the MSICC adaptation framework was developed to enable existing remote sensing change captioning architectures to operate directly on multispectral inputs. The second study investigates how category information can be incorporated into the caption generation process. For this purpose, the Category-Guided Change Captioning (CGCC) framework was proposed to generate more accurate, scene-consistent, and semantically focused descriptions by guiding the model with category-level representations. The third study extends the problem toward explainable and multi-task change captioning through the X-Change framework, which combines caption generation with auxiliary prediction of change-related and spectral-index-based maps, thereby providing visual evidence to support the generated captions. The proposed methods were comparatively evaluated against recent approaches in the literature in terms of BLEU-1 to BLEU-4, ROUGE-L, CIDEr-D, METEOR, and SPICE metrics. The experimental results demonstrate that the use of multispectral information, category-guided modeling, and explainable multi-task learning improves the quality, semantic consistency, and interpretability of generated change captions. Overall, the thesis contributes to the literature through a new benchmark dataset, task-specific modeling approaches, and an explainable framework for change captioning. The findings further indicate the potential of these studies for disaster assessment, environmental monitoring, urban analysis, and other application areas requiring continuous observation of land surface changes.
Benzer Tezler
- Türk sinemasında erkekliğin dönüşümü ve erkeklik krizinin görünümleri
The transformation of masculinity in Turkish cinema and views of the crisis masculinity
ELANUR YILMAZ
Yüksek Lisans
Türkçe
2021
GazetecilikAtatürk ÜniversitesiGazetecilik Ana Bilim Dalı
DOÇ. DR. İBRAHİM ETEM ZİNDEREN
- İşitme engelliler için homojen alan dağılımlı gişe tipi ses frekansı indüksiyon döngü sistemi tasarımı
Uniform field distribution audio frequency counter induction loop design for hearing impaired
MELTEM LORDOĞLU
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DENİZ YILDIRIM
DOÇ. DR. SERHAT İKİZOĞLU
- TURKXIT: A historical, legal and economic analysis of Turkey'strade policy, WTO litigation patterns and leveraged exit fromthe EU-Turkey customs union
Başlık çevirisi yok
MUSTAFA TAHA DURMUŞ
Doktora
İngilizce
2019
Uluslararası İlişkilerCase Western Reserve UnıversıtyPROF. DR. JUSCELINO F. COLARES
- Karikatürün tarihi ve karikatürün grafik sanatlarla ilişkisi
Başlık çevirisi yok
BORA ÖZEN
Yüksek Lisans
Türkçe
2003
Güzel SanatlarMarmara ÜniversitesiGrafik Ana Sanat Dalı
YRD. DOÇ. DR. GÜRBÜZ DOĞAN EKŞİOĞLU
- Tekstil endüstrisinde makina girişimi
Machine interference
OYA BALCI
Yüksek Lisans
Türkçe
1990
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ATAÇ SOYSAL