Enhancing remote sensing capabilitiesthrough multi-modal language modelintegration
Çok kipli büyük dil modelleri ile uzaktan algılama yeteneklerinin geliştirilmesi
- Tez No: 986186
- Danışmanlar: PROF. DR. MEHMET ERKUT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Multispektral uzaktan algılama görüntüleri, görünür spektrumun ötesine geçen zengin spektral bilgiler sunarak arazi örtüsü, bitki örtüsü, su kütleleri ve atmosferik koşulların daha doğru analizini mümkün kılar. Çok kipli büyük dil modelleri (MLLM'ler) görsel-dil görevlerinde güçlü performans sergilemiş olsa da, bu modellerin multispektral veriye uygulanması, özellikle kip hizalaması ve yönergeyle ayarlama (instruction tuning) gibi zorluklar nedeniyle hâlâ sınırlı kalmaktadır. Bu tezde, multispektral uydu görüntüleri üzerinde sınıflandırma, betimleme ve sahne anlama görevlerini destekleyen Spectral-LLaVA adlı yeni bir görsel-dil modeli sunulmaktadır. Önerilen, multispektral verilerle doğrudan etkileşim kurmak üzere SpectralGPT'yi görsel kodlayıcı olarak kullanmakta; ayrıca RGB verilerle de çalışabilmesini sağlamak ve esnekliğini artırmak amacıyla bir RGB'den Multispektrale (RGB2MS) hizalama modülü içermektedir. Yönergeyle ayarlama sürecini desteklemek için, multispektral görsel-dil görevlerine özel, büyük ölçekli bir veri kümesi olan Spectral-Inst oluşturulmuştur. Bu veri kümesi üzerinde, sahneye duyarlı tahminler ve ayrıntılı betimlemeler üretebilen bir LLaMA3 tabanlı dil çözücü ince ayar ile eğitilmiştir. Deneysel sonuçlar, spektral bilginin dile dayalı zeminle birleştirilmesinin sınıflandırma doğruluğunu önemli ölçüde artırdığını ve RGB tabanlı ya da yalnızca görsel modellerle karşılaştırıldığında daha açıklayıcı betimlemeler ürettiğini göstermektedir. Spectral-LLaVA, multispektral uzaktan algılama uygulamalarında dile dayalı analiz için esnek ve güçlü bir temel sunmaktadır.
Özet (Çeviri)
Multispectral remote sensing imagery offers rich spectral information beyond the visible range, enabling more accurate analysis of land cover, vegetation, water bodies, and atmospheric conditions. Although multimodal large language models (MLLMs) have demonstrated strong performance in vision-language tasks, their extension to multispectral domains remains limited due to challenges in modality alignment and instruction tuning. In this thesis, we present Spectral-LLaVA, a vision-language framework tailored for multispectral satellite imagery, supporting classification, captioning, and scene understanding tasks. The framework employs SpectralGPT as its vision encoder to directly process multispectral inputs, while an RGB-to-Multispectral (RGB2MS) alignment module is introduced to ensure versatility and compatibility with standard RGB data. To enable effective instruction tuning, we construct Spectral-Inst, a domain-specific, large-scale dataset designed for multispectral vision-language tasks. A LLaMA3-based language decoder is fine-tuned on this dataset to generate context-aware predictions and rich scene descriptions. Experimental results demonstrate that integrating spectral information with language grounding significantly improves classification accuracy and leads to more detailed and informative descriptions compared to RGB-only or purely visual models. Spectral-LLaVA offers a flexible and robust foundation for language-guided analysis in multispectral remote sensing applications.
Benzer Tezler
- Landsat uyduları aracılığı ile elde edilen görüntülerin işlenmesinde kontrast artırma tekniklerinin tanımı ve bu tekniklere ilişkin bilgisayar programlarının hazırlanması üzerine bir çalışma
Başlık çevirisi yok
BİLHAN TABAK
Yüksek Lisans
Türkçe
1986
Ege ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Isı borusu prensibinin güneşli su ısıtıcılarına ve damıtmaya uygulanması
Başlık çevirisi yok
ALİ YÜCEL UYAREL
- Batı Anadolu linyitlerinin koklaşabilme özelliklerinin incelenmesi
The Investigation of cokingability properties of west-anatolia lignites
JALE YANIK
- Protein biyosentez inhibitörlerinin bazı bitki viruslarına etkileri üzerinde araştırmalar
Research on the effects of protein biosynthesis inhibitors on some plant viruses
SEBİLA AKSOY