Süper çözünürlük algoritmalarındaderin öğrenmenin etkisi
The effect of deep learning in super resolution algorithms
- Tez No: 880013
- Danışmanlar: PROF. DR. TUĞBA SELCEN NAVRUZ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 148
Özet
Süper çözünürlük uygulamalarında renkli görüntüler için geleneksel yöntemler ve derin öğrenme tabanlı yöntemler uzun zamandır kullanılmaktadır ancak son gelişmeler bunların kullanımını termal(kızılötesi) görüntülere de genişletmiştir. Renkli görüntü sensörlerin aksine, termal sensörler genellikle düşük çözünürlüklüdür. Yüksek çözünürlüklü kızılötesi sensörlerin üretimi daha karmaşıktır. Yüksek çözünürlüklü termal sensörleri için gereken malzemeler görünür ışık sensörleri için kullanılanlara kıyasla daha maliyetlidir ve üretim süreçleri görünür ışık sensörlerine kıyasla çok daha zordur çünkü kızılötesi sensörlerin küçük sıcaklık farklarını algılayacak kadar hassas olması gerekir, bu da genellikle sisteme daha fazla gürültü sokar, dolayısıyla yüksek hassasiyeti korurken gürültüyü azaltmak, özellikle çözünürlük arttıkça çok zordur. Bu gibi kısıtlamalar da derin öğrenme yöntemleri kullanarak termal görüntülerde çözünürlüğünü artırma ihtiyacını doğurmuştur. Bu çalışmada, farklı modelleri termal görüntüler üzerine uygulayarak süper çözünürlük üzerindeki etkisini araştırdık. Özellikle, geleneksel bir yöntem olan bikübik enterpolasyonu, GAN mimarisi kullanan derin öğrenme tabanlı süper çözünürlük yöntemlerinden SRGAN (Super-Resolution Generative Adversarial Network) ve ESRGAN'ı (Enhanced Super- Resolution Generative Adversarial Network) Swin dönüştürücü (transformer) mimarisini kullanan SwinIR'ı (Swin Transformer-based Image Restoration) karşılaştırdık. Swin dönüştürücü ve GAN mimarisi kullanan bu modeller, düşük çözünürlüklü girdilerden yüksek çözünürlüklü çıktılar üreterek görüntü çözünürlüğünü artırmada umut verici sonuçlar göstermiştir. Araştırmamız, bu modellerin termal görüntülerden oluşan bir veri kümesi üzerinde eğitilmesini ve değerlendirilmesini de içermektedir. Modellerin performanslarını görüntü kalitesi, keskinlik ve termal detayların korunması açısından analiz ettik. Çalışmamızdan elde edilen bulgular, termal görüntü çözünürlüğünü iyileştirme alanına katkıda bulunmakta ve süper çözünürlük için derin öğrenme tekniklerinin etkinliği hakkında derinlik sağlamaktadır. Termal görüntüleme, askeri, tıbbi ve endüstriyel gibi çeşitli alanlarda önem kazandıkça, termal görüntülerin çözünürlüğünü iyileştirmek çok önemli hale gelmektedir. Çalışmamız, farklı yaklaşımların potansiyel faydalarına ve sınırlamalarına ışık tutarak uygulayıcılara ve araştırmacılara yol göstermektedir.
Özet (Çeviri)
Traditional methods and deep learning-based methods have long been used for color images in super-resolution applications, but recent developments have extended their use to thermal (infrared) images. Unlike color image sensors, thermal sensors are generally low resolution. High-resolution infrared sensors are more complex to manufacture. The materials required for high-resolution thermal sensors are more costly than those used for visible light sensors, and the manufacturing processes are much more difficult than for visible light sensors because infrared sensors need to be sensitive enough to detect small temperature differences, which usually introduces more noise into the system, so reducing noise while maintaining high sensitivity is very difficult, especially as the resolution increases. Such limitations have led to the need to improve the resolution of thermal images using deep learning methods. In this study, we investigated the impact of different models on super-resolution by applying them to thermal images. In particular, we compared bicubic interpolation, a traditional method, SRGAN (Super-Resolution Generative Adversarial Network) and ESRGAN (Enhanced Super-Resolution Generative Adversarial Network), deep learning-based super- resolution methods using GAN architecture, and SwinIR (Swin Transformer-based Image Restoration) using Swin Transformer architecture. These models using Swin Transformer and GAN architectures have shown promising results in increasing image resolution by generating high-resolution outputs from low-resolution inputs. Our research involves training and evaluating these models on a dataset of thermal images. We analysed the performance of the models in terms of image quality, sharpness and preservation of thermal details. The results of our study contribute to the field of improving the resolution of thermal images and provide insight into the effectiveness of deep learning techniques for super- resolution. As thermal imaging becomes increasingly important in various fields such as military, medical and industrial, improving the resolution of thermal images becomes crucial. Our work provides guidance to practitioners and researchers by highlighting the potential benefits and limitations of different approaches.
Benzer Tezler
- Satellite images super resolution using generative adversarial networks
Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük
MARYAM SERDAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Inverse distance weighted interpolation based on image topology for super-resolution
Süper-çözünürlük için imge topolojisine dayalı ters mesafe ağırlıklı interpolasyon yöntemi
BARIŞCAN DEDEŞ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiEskişehir Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAKAN GÜRAY ŞENEL
- A comparative evaluation of super resolution methods on color images
Süper çözünürlük metodlarının renkli görüntüler üzerinde karşılaştırmalı değerlendirmesi
FULYA ERBAY
Yüksek Lisans
İngilizce
2011
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
PROF. DR. GÖZDE BOZDAĞI AKAR
- Blur estimation and superresolution from multiple registered images
Hizalanmış çoklu resimlerden bulanıklık tahmini ve süper çözünürlüklü görüntü elde etme
ENGİN UTKU ŞENSES
Yüksek Lisans
İngilizce
2008
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
YRD. DOÇ. DR. İLKAY ULUSOY
- Süper-çözünürlük yöntemlerinin hiperspektral görüntülerin çözünürlüklerinin artırılmasına etkisi
Effects of super-resolution methods on improving hyperspectral image resolutions
MURAT ŞİMŞEK
Yüksek Lisans
Türkçe
2016
Elektrik ve Elektronik MühendisliğiKırıkkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. EDİZ POLAT