Geri Dön

Unsupervised image to image translation from short wave infrared (SWIR) to red-green-blue (RGB) images

Short wave infrared (SWIR) görüntülerden red-green-blue (RGB) görüntülerine denetimsiz çeviri

PDF İndir

  1. Tez No: 920836
  2. Yazar: DUYGU TAŞBAŞ
  3. Danışmanlar: DOÇ. DR. HACER YALIM KELEŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 67

Özet

Görüntüden görüntüye dönüşüm görevi, bilgisayarlı görü alanında önemli bir konu olarak görülmektedir. Bu teknik görüntülerin etkili içeriğini korurken bir alandan diğerine dönüştürülmesini sağlamaya odaklanır. Denetimsiz görüntüden görüntüye dönüşüm bize maliyet ve veri kısıtlamaları alanlarında bir çok esneklik sunar. Bu görevde bir etki alanının bilinen renkli görüntüler dışında daha çok bilgiye sahip bir etki alanı olması bize görüntülerden ekstra bilgi edinilmesini sağlar. Bunun yanında farklı spektral görüntüleme formatları arasında, Kısa Dalga Kızılötesi (SWIR) görüntü formatı, bilinen renkli görüntü formatından daha fazla bilgi yakalama yeteneğiyle öne çıkmaktadır. Fakat SWIR görüntü formatı insan gözüyle yorumlanabilme konusunda renkli görüntülere göre oldukça kısıtlı kalmaktadır. Bu çalışmamızda RGB ve SWIR kameralardan ayrı ayrı alınmış görüntüleri barındıran Hacettepe Üniversitesi Teknokent SWIR Veri Seti (HUT SWIR Dataset) olarak isimlendirdiğimiz özgün bir veri seti hazırladık. Hazırladığımız veri setini hem SWIR etki alanına hem de RGB etki alanında birbirlerine benzer sayılarda ve çözünürlüklerde olacak şekilde ön işlemeler yaptık. Amacımız bu veri seti ile birlikte SWIR görüntüleri RGB görüntülere dönüştürerek daha fazla bilgi elde etmek ve kolay yorumlanabilirlik arasında bir köprü oluşturmaktır. Bu bağlamda denetimsiz görüntüden görüntüye dönüşüm alanında başarılı Döngü Tutarlı Çekişmeli Ağlar (CycleGAN), Karşıt Eşleştirilmemiş Dönüşüm (CUT) ve Hızlı Karşıt Eşleştirilmemiş Dönüşüm (FastCUT) modellerini veri setimiz üzerinde eğittik ve sonuçlarını nitel olarak ve nicel olarak, Freched Inception Distance (FID) metriği üzerinde karşılaştırdık. Elde ettiğimiz bulgular doğrultusunda CUT modelinin nitel olarak renk spektrumu dönüşümlerinde CycleGAN modeline göre daha başarılı sonuçlar verdiğini gözlemledik. Bununla birlikte benzer kızılötesi ve renkli görüntüleri barındıran Düşük Işık Görüşü için Görünür-Kızılötesi Eşleştirilmiş Veri Seti (LLVIP) üzerinde de aynı deneylerimizi gerçekleştirdik. Benzer şekilde LLVIP veri kümesinde de CUT modelinin diğer modellere göre nitel olarak ilgili etki alanına ait renk spektrumlarının dönüşümünde daha başarılı performans gösterdiğini gözlemledik. Her iki veri seti üzerinde de elde ettiğimiz sonuçları nitel ve nicel olarak değerlendirdiğimizde CUT modelinin daha başarılı olduğunu göstererek tutarlılıklarını kanıtladık.

Özet (Çeviri)

The task of image-to-image translation is considered a significant topic in the field of computer vision. This technique focuses on transforming images from one domain to another while preserving their essential content. Unsupervised image-to-image translation offers flexibility in terms of cost and data limitations. In this task, when one domain holds more information than the known RGB image domain, it allows us to extract additional insights from images. Among different spectral imaging formats, Short-Wave Infrared (SWIR) stands out for its ability to capture more information compared to standard RGB imaging. However, SWIR images are highly limited in terms of human interpretability compared to RGB images. In this study, we prepared a unique dataset called the Hacettepe University Technopark SWIR Dataset (HUT SWIR Dataset), which contains separate images captured by RGB and SWIR cameras. We preprocessed the dataset to ensure that the images in both SWIR and RGB domains had similar numbers and resolutions. Our goal is to bridge the gap between obtaining more information from SWIR images and making them more interpretable by converting SWIR images into RGB images. To this end, we trained successful models from the field of unsupervised image-to-image translation, including Cycle-Consistent Adversarial Networks (CycleGAN), Contrastive Unpaired Translation (CUT), and Fast Contrastive Unpaired Translation (FastCUT), on our dataset. We evaluated the results both qualitatively and quantitatively using the Frechet Inception Distance (FID) metric. Based on our findings, the CUT model demonstrated superior performance in spectrum transformations compared to the CycleGAN model in terms of qualitative results. Additionally, we conducted the same experiments on the Low-Light Vision Infrared-Visible Paired Dataset (LLVIP), which contains similar infrared and visible images. Similarly, on the LLVIP dataset, the CUT model showed better performance in transforming color spectrums specific to the target domain compared to other models. Evaluating our results qualitatively and quantitatively on both datasets, we demonstrated the consistency and success of the CUT model.

Benzer Tezler

  1. Tez No

    825783

    Deep Domain adaptation for the semantic segmentation of remote sensing images

    Uzaktan algılama görüntülerinin sezgisel bölümlemesi için derin alan uyarlaması

    SARMAD FAKHRULDDIN ISMAEL ISMAEL

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiGebze Teknik Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. KORAY KAYABOL

    DOÇ. DR. ERCHAN APTOULA

  2. Tez No

    829228

    Novel deep learning algorithms for multi-modal medical image synthesis

    Çok-kipli tıbbi görüntü sentezi için yeni derin öğrenme algoritmaları

    ONAT DALMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TOLGA ÇUKUR

  3. Tez No

    925852

    Unpaired image-to-image translation with learnable tokens in diffusionGAN

    DiffusionGAN ile öğrenebilir belirteçler kullanarak eşleştirilmemiş görüntü dönüşümü

    EGE DİNÇER

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. YÜCEL YEMEZ

  4. Tez No

    633721

    Words as art materials: Generating paintings with sequential generative adversarial networks

    Sanat materyali olarak kelimeler: Seri üretici çekişmeli ağlar ̇ile sanatsal resim üretimi

    AZMİ CAN ÖZGEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HAZIM KEMAL EKENEL

  5. Tez No

    789600

    Rigid pavement crack detection utilizing generative adversarial networks

    Beton yollarda çekişmeli üretici ağlar kullanarak yol çatlak tespiti

    TANNER WAMBUI MUTURI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    İnşaat MühendisliğiOrta Doğu Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ONUR PEKCAN

Geri Dön