Geri Dön

Self-supervised pansharpening: Guided colorization of panchromatic images using generative adversarial networks

Öz-denetimli pankeskinleştirme: Çekişmeli üretken ağlar ile pankromatik görüntülerin güdümlü renklendirilmesi

PDF İndir

  1. Tez No: 637233
  2. Yazar: FURKAN ÖZÇELİK
  3. Danışmanlar: PROF. DR. GÖZDE ÜNAL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 82

Özet

Uzaktan algılama amaçlı uydu sistemlerinde hem uzamsal hem de spektral çözünürlüğü yüksek görüntüler üretmek önemli bir görevdir. Bu işlem için tek bir sensör yeterli olmayacağı için Pleiades, GeoEye, Quickbird ve Worldview gibi birçok uyduda pankromatik ve multispektral görüntü elde eden sensörler bulunur. Pankromatik sensörler uzamsal çözünürlüğe odaklanıp tek kanallı bir yapıya sahip görüntü oluştururken, multispektral sensörler spektral çözünürlüğe odaklanıp çok kanallı bir yapıya sahip görüntü oluştururlar. Pankromatik sensörlerin elde ettiği görüntülerin uzamsal çözünürlükleri genelde aynı uyduda bulunan multispektral sensörden 4 kat daha fazladır. Pankromatik ve multispektral görüntülerin belirli algoritmalar yoluyla füzyonuna da pankeskinleştirme (pansharpening) denmektedir. Henüz Evrişimsel Sinir Ağları (Convolutional Neural Networks) bu işlem için kullanılmadan önce birçok farklı algoritma önerilmiştir. Bunlara geleneksel pankeskinleştirme metotları diyoruz. Bu metotlar Bileşen Değiştirmeli (Component Substitution) metotlar ve Çoklu Çözünürlük Analizi (Multiresolution Analysis) metotları olmak üzere ikiye ayrılıyor. Bileşen değiştirmeli metotlar multispektral resmi uzamsal ve spektral bileşenlerine ayırıp uzamsal bileşeni pankromatik resimden elde edilen bir uzamsal bileşenle değiştirme üzerine bina edilmiştir. Bu metotların arasında Yeğinlik-Renk-Doyum (IHS), Temel Bileşen Analizi (PCA), Gram-Schmidt, Brovey Dönüşümü, BDSD ve PRACS gibi birçok metot bulunmaktadır. Çoklu çözünürlük analizi metotları ise pankromatik resimler üzerinden sinyal filtreleri geçirilerek elde edilen bilgilerin multispektal resimlere enjekte edilmesiyle oluşuyor. Bu metotlara örnek olarak da yüksek-geçiren filtreler (HPF), modülasyon transfer fonksiyonu (MTF) bazlı Genelleştirilmiş Laplasyen piramitleri (MTF-GLP), Yüksek geçiren modülasyonlu MTF-GLP (MTF-GLP-HPM), uzamsal temel bileşen ayrıştırma (SPCA) ve dalgacık dönüşümlü (wavelet transform) metotlar sayılabilir. Son yıllarda evrişimsel sinir ağlarının başarılarıyla derin öğrenme metotları birçok alanda uygulanmaya başlamıştır. Bu gelişimi sağlayan en büyük unsurlar donanımda yaşanan geliştirmeler, verinin artması ve sinir ağları mimarilerinde çeşitli problemlerin çözülmesi olmuştur. Bu ilerlemelerle birlikte bilgisayar görüsü, ses tanıma, doğal dil işleme, medikal görünteleme ve robotik gibi birçok alanda derin öğrenme modelleri kullanılmaya başlanmıştır. Derin öğrenmenin sınıflandırmaya dair başarılarıyla birlikte sentezlemeye dair de birçok başarısı olmuştur. Özellikle görüntü sentezlemede evrişimsel sinir ağları yapısına sahip Çekişmeli Üretken Ağlar (Generative Adversarial Networks) gerçekçi üretim kapasitesiyle öne çıkmış ve birçok alanda kullanılmaya başlamıştır. Çekişmeli üretken ağlar (ÇÜA), belirli bir hedef dağılıma sahip resimlerin sentezlenilmesini öğrenebilen üretken modellerin bir sınıfını oluşturur. Genelde ÇÜA modelinde iki yapay sinir ağı modeli bulunur. Bunlardan biri üretici ağ diğeri ise ayrıştırıcı ağdır. Resim uygulaması üzerinden konuşulacak olursa, üretici ağ rastgele örneklenmiş sayıları girdi olarak alır ve bunları ağ içinde işleyerek bir resim üretir. Ayrıştırıcı ağ ise hem üretken ağın ürettiği resimlerden hem de elde bulunan veri setinden belirli sayıda resim alır ve bunları gerçek ve sahte olarak sınıflandırmaya çalışır. Ayrıştırıcı ağın yaptığı doğru ve yanlış sınıflandırmalara göre hem ayrıştırıcı ağ hem de üretici ağ eğitilir. Ayrıştırıcı ağ veri kümesinden gelen resimleri gerçek, üretici ağın ürettiklerini sahte olarak sınıflandırmaya çalışırken, üretici ağ ise kendi ürettiği resimlerin ayrıştırıcı ağ tarafından gerçek olarak sınıflandırılması için çabalar. ÇÜA modeli geliştirilerek oluşturulmuş Pix2Pix modeli görüntüden görüntüye dönüşüm (image-to-image translation) uygulamalarında büyük başarı göstermiştir. Evrişimli sinir ağları ve çekişmeli üretken ağların görüntü sentezlemedeki bu başarısı pankeskinleştirme çalışmalarında da kendini göstermiştir. Şu ana kadar yapılan evrişimli sinir ağları tabanlı pankeskinleştirme çalışmalarında görüntüden görüntüye dönüşüm uygulamalarından biri olan çözünürlük arttırmadan (super-resolution) esinlenilmiştir. Tam-çözünürlükte referans resmi olmadığı için, bu modellerin eğitimi sırasında çözünürlüğü düşürülmüş pankromatik görüntü ve çözünürlüğü düşürülmüş multispektral görüntü girdi olarak verilerek, çıktı olarak normal multispektal görüntü elde edilmeye çalışılmaktadır. Çözünürlük arttırmadan esinlenerek tasarlanılan bu modellerin çeşitli yetersizlikleri bulunmaktadır. Analizlerimiz sonucunda bu tarz bir yaklaşımın pankromatik görüntülerin uzamsal çözünürlüklerini yeterince iyi aktaramadığını ve tam-çözünürlük üzerinde denendiğinde bulanıklık problemleri olduğunu tespit ettik. Çözünürlük arttırmadan esinlenmiş modellerin bu problemlerini tespit etmekle birlikte başka bir görüntüden görüntüye dönüşüm uygulaması olan renklendirmeden (colorization) esinlenen bir model olarak PanColorGAN modelini tasarladık. Çözünürlüğü düşürülmüş multispektral görüntünün yanında girdi olarak çözünürlüğü düşürülmüş pankromatik resmi vermek yerine normal çözünürlükteki multispektral resmin renksiz halini verdik. Çıktı olarak da normal multispektral resmi beklediğimizden, girdi ve çıktı arasındaki uzamsal detay farklılığı problemini çözmüş olduk. Bununla birlikte hala tam-çözünürlük senaryosundaki bulanıklık problemi tamamiyle çözülmediği için rastgele altörnekleme (random downsampling) dediğimiz bir yöntemi de modelimize ekledik. Bu yöntemle eğitim sırasında multispektral görüntünün çözünürlüğünü düşürürken belirli bir sayıya değil değil de belirli bir aralıktan rastgele seçilmiş bir sayıya düşürüyoruz. Bu adeta bir gürültü enjeksiyonu görevi gördüğü için modelimizin istemediğimiz bir görevi ezberlemediğinden ve gerçekten renklendirmeyi öğrendiğinden emin olmamızı sağlıyor. Bu sayede farklı çözünürlüklere, koşullara ve uydu yapılarına karşı gürbüz bir yapıya sahip olan bir model geliştirmiş olduk. Eğitimlerimizi Uydu Haberleşme ve Uzaktan Algılama Merkezi'nin (UHUZAM) bizlere sağladığı Pleiades uydusundan elde edilen Türkiye'nin farklı şehirleri üzerinde yaptık. Aydın, İstanbul, Bursa, Bilecik, Muğla illerinden elde edilmiş bu görüntüler 2 metre multispektral ve 0.5 metre pankromatik çözünürlüklerine sahiptir. Bu görüntülerin oluşturduğu büyük çerçeveleri sinir ağlarına uygun hale getirebilmek için birbirine denk gelen 1024x1024'lük pankromatik resimlerine ve 256x256'lık multispektral resimlerine ayırdık. Bu ayrıştırma sonucu Pleiades'ten 30000 eğitim örneği ve 5700 test örneği elde ettik. Ayrıca Digital Globe firmasının da, görüntülerini Worldview 2 ve Worldview 3 uydularından elde ederek sunduğu ücretsiz bir veriseti üzerinde de modelimizin farklı koşullarda nasıl çalıştığını test ettik. Pleiades ile benzer bir ayrıştırma işlemi uyguladığımız bu verisetinden de sadece test için kullanılmak üzere 350 görüntü elde ettik. Tasarladığımız PanColorGAN modelini rastgele altörnekleme kullanan ve kullanmayan iki versiyonla test ettik, altörnekleme kullanan versiyona PanColorGAN+RD adını verdik. Ayrıca PanColorGAN ile aynı mimari yapıya sahip olup çözünürlük arttırmadan esinlenilmiş metoda sahip olan PanSRGAN modelini de karşılaştırma amaçlı test ettik. Bu modellerin yanında daha ayrıntılı bir değerlendirme için geleneksel pankeskinleştirme modellerinden olan BDSD, ATWT, GSA, GLP-REG-FS, Nonlinear IHS, Semi-blind Convolution gibi modelleri ve ayrıca çözünürlük arttırmadan esinlenilmiş evrişimli sinir ağları modelleriyle oluşturulmuş olan PanNet ve TA-CNN modellerini de aynı verisetleri üzerinde test ettik. Sayısal değerlendirmelerde düşürülmüş-çözünürlükte referanslı metrikler olan QAVE, SAM, ERGAS, sCC ve Q metriklerini, tam-çözünürlükte ise referanssız metrikler olarn $D_s$, $D_\lambda$ ve QNR metriklerini kullandık. Birçok model için sayısal verilerin zaman zaman görsel sonuçlarla uyuşmadığını gördük. Bunun görüntü işlemede genel bir durum olduğunu biliyoruz ki literatürü incelediğimizde pankeskinleştirme için de durumun böyle olduğunu anladık. İki uydunun hem düşürülmüş-çözünürlük hem de tam-çözünürlük koşullarında da görsel olarak PanColorGAN modelimiz en iyi sonuçları elde etmeyi başardı ve genelleştirilebilirlik yönüyle en iyi performansı da gösterdi.

Özet (Çeviri)

Satellite images provide images with different properties. Multispectral images have low spatial resolution and high spectral resolution. Panchromatic images have high spatial resolution and low spectral resolution. The fusion process of these two images is called pansharpening. For decades, traditional image processing methods are designed for this process. After the inspirational success of Convolutional Neural Networks(CNN) in computer vision, CNN models are also designed for pansharpening. Convolutional Neural Networks (CNN)-based approaches have shown promising results in pansharpening of satellite images in recent years. However, they still exhibit limitations in producing high-quality pansharpening outputs. We identified a spatial detail disagreement problem between reduced resolution panchromatic images and original multispectral images, which are assumed to have the same resolution. This problem causes an insufficient training process in current CNN-based pansharpening models. We propose a new self-supervised learning framework, where we treat pansharpening as a colorization problem, which brings an entirely novel perspective and solution to the problem compared to existing methods that base their solution solely on producing a super-resolution version of the multispectral image. CNN-based methods provide a reduced resolution panchromatic image as input to their model along with reduced resolution multispectral images, hence learn to increase their resolution together. In the training phase of our model, reduced resolution panchromatic image is substituted with grayscale transformed multispectral image, thus our model learns colorization of the grayscale input. We further address the fixed downscale ratio assumption during training, which does not generalize well to the full-resolution scenario. We introduce a noise injection into the training by randomly varying the downsampling ratios. Those two critical changes, along with the addition of adversarial training in the proposed PanColorization Generative Adversarial Networks (PanColorGAN) framework, help overcome the spatial detail loss and blur problems that are observed in CNN-based pansharpening. The proposed approach outperforms the previous CNN-based and traditional methods as demonstrated in our experiments.

Benzer Tezler

  1. Tez No

    343090

    Self-supervised building detection with decision fusion

    Kendinden denetimli karar füzyonu ile binaların tespiti

    ÇAĞLAR ŞENARAS

    Doktora

    İngilizce

    İngilizce

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilişim Sistemleri Ana Bilim Dalı

    PROF. DR. FATOŞ TUNAY YARMAN VURAL

    YRD. DOÇ. DR. PEKİN ERHAN EREN

  2. Tez No

    767992

    Self-supervised learning with an information maximization criterion

    Bilgi maksimizasyon kriteriyle kendi kendine denetimli öğrenme

    SERDAR ÖZSOY

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ALPER TUNGA ERDOĞAN

  3. Tez No

    771752

    Self-supervised representation learning from demonstration

    Gösterimden kendinden denetimli temsil öğrenme

    ERCAN ALP SERTELİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BARIŞ AKGÜN

  4. Tez No

    655370

    Self-supervised representation learning with graph neural networks for region of interest analysis in breast histopathology

    Meme histopatolojisinde ilgi alanı gösterimlerinin çizgesel sinir ağları ile kendinden gözetimli öğrenimi

    YİĞİT ÖZEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. SELİM AKSOY

  5. Tez No

    760662

    Addressing the static scene assumption and the scale ambiguity in self-supervised monocular depth estimation

    Denetimsiz monoküler derinlik tahmini: Statik sahne varsayımı ve ölçek belirsizliği

    SADRA SAFADOUST

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FATMA GÜNEY

Geri Dön