Süper çözünürlük algoritmalarındaderin öğrenmenin etkisi
The effect of deep learning in super resolution algorithms
- Tez No: 880013
- Danışmanlar: PROF. DR. TUĞBA SELCEN NAVRUZ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Süper çözünürlük uygulamalarında renkli görüntüler için geleneksel yöntemler ve derin öğrenme tabanlı yöntemler uzun zamandır kullanılmaktadır ancak son gelişmeler bunların kullanımını termal(kızılötesi) görüntülere de genişletmiştir. Renkli görüntü sensörlerin aksine, termal sensörler genellikle düşük çözünürlüklüdür. Yüksek çözünürlüklü kızılötesi sensörlerin üretimi daha karmaşıktır. Yüksek çözünürlüklü termal sensörleri için gereken malzemeler görünür ışık sensörleri için kullanılanlara kıyasla daha maliyetlidir ve üretim süreçleri görünür ışık sensörlerine kıyasla çok daha zordur çünkü kızılötesi sensörlerin küçük sıcaklık farklarını algılayacak kadar hassas olması gerekir, bu da genellikle sisteme daha fazla gürültü sokar, dolayısıyla yüksek hassasiyeti korurken gürültüyü azaltmak, özellikle çözünürlük arttıkça çok zordur. Bu gibi kısıtlamalar da derin öğrenme yöntemleri kullanarak termal görüntülerde çözünürlüğünü artırma ihtiyacını doğurmuştur. Bu çalışmada, farklı modelleri termal görüntüler üzerine uygulayarak süper çözünürlük üzerindeki etkisini araştırdık. Özellikle, geleneksel bir yöntem olan bikübik enterpolasyonu, GAN mimarisi kullanan derin öğrenme tabanlı süper çözünürlük yöntemlerinden SRGAN (Super-Resolution Generative Adversarial Network) ve ESRGAN'ı (Enhanced Super- Resolution Generative Adversarial Network) Swin dönüştürücü (transformer) mimarisini kullanan SwinIR'ı (Swin Transformer-based Image Restoration) karşılaştırdık. Swin dönüştürücü ve GAN mimarisi kullanan bu modeller, düşük çözünürlüklü girdilerden yüksek çözünürlüklü çıktılar üreterek görüntü çözünürlüğünü artırmada umut verici sonuçlar göstermiştir. Araştırmamız, bu modellerin termal görüntülerden oluşan bir veri kümesi üzerinde eğitilmesini ve değerlendirilmesini de içermektedir. Modellerin performanslarını görüntü kalitesi, keskinlik ve termal detayların korunması açısından analiz ettik. Çalışmamızdan elde edilen bulgular, termal görüntü çözünürlüğünü iyileştirme alanına katkıda bulunmakta ve süper çözünürlük için derin öğrenme tekniklerinin etkinliği hakkında derinlik sağlamaktadır. Termal görüntüleme, askeri, tıbbi ve endüstriyel gibi çeşitli alanlarda önem kazandıkça, termal görüntülerin çözünürlüğünü iyileştirmek çok önemli hale gelmektedir. Çalışmamız, farklı yaklaşımların potansiyel faydalarına ve sınırlamalarına ışık tutarak uygulayıcılara ve araştırmacılara yol göstermektedir.
Özet (Çeviri)
Traditional methods and deep learning-based methods have long been used for color images in super-resolution applications, but recent developments have extended their use to thermal (infrared) images. Unlike color image sensors, thermal sensors are generally low resolution. High-resolution infrared sensors are more complex to manufacture. The materials required for high-resolution thermal sensors are more costly than those used for visible light sensors, and the manufacturing processes are much more difficult than for visible light sensors because infrared sensors need to be sensitive enough to detect small temperature differences, which usually introduces more noise into the system, so reducing noise while maintaining high sensitivity is very difficult, especially as the resolution increases. Such limitations have led to the need to improve the resolution of thermal images using deep learning methods. In this study, we investigated the impact of different models on super-resolution by applying them to thermal images. In particular, we compared bicubic interpolation, a traditional method, SRGAN (Super-Resolution Generative Adversarial Network) and ESRGAN (Enhanced Super-Resolution Generative Adversarial Network), deep learning-based super- resolution methods using GAN architecture, and SwinIR (Swin Transformer-based Image Restoration) using Swin Transformer architecture. These models using Swin Transformer and GAN architectures have shown promising results in increasing image resolution by generating high-resolution outputs from low-resolution inputs. Our research involves training and evaluating these models on a dataset of thermal images. We analysed the performance of the models in terms of image quality, sharpness and preservation of thermal details. The results of our study contribute to the field of improving the resolution of thermal images and provide insight into the effectiveness of deep learning techniques for super- resolution. As thermal imaging becomes increasingly important in various fields such as military, medical and industrial, improving the resolution of thermal images becomes crucial. Our work provides guidance to practitioners and researchers by highlighting the potential benefits and limitations of different approaches.
Benzer Tezler
- Satellite images super resolution using generative adversarial networks
Uydu görüntülerinde çekişmeli üretici ağ kullanarak süper çözünürlük
MARYAM SERDAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Uydu imgelerine derin öğrenme tabanlı süper çözünürlük yöntemlerinin uygulanması ve imgelerin iyileştirilmesi
Application of deep learning based super resolution methods to satellite images and improvement of images
AYŞE CENGİZ
Yüksek Lisans
Türkçe
2020
Bilim ve TeknolojiFırat ÜniversitesiEkobilişim Ana Bilim Dalı
DOÇ. DR. DERYA AVCI
- Görüntü işleme temelli süper çözünürlük yöntemlerinin karşılaştırılması
Comparison of super-resolution methods based on image processing
NURİ OSMANİ
Yüksek Lisans
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. RİFAT KURBAN
- Süper-çözünürlük yöntemlerinin hiperspektral görüntülerin çözünürlüklerinin artırılmasına etkisi
Effects of super-resolution methods on improving hyperspectral image resolutions
MURAT ŞİMŞEK
Yüksek Lisans
Türkçe
2016
Elektrik ve Elektronik MühendisliğiKırıkkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. EDİZ POLAT
- Süper çözünürlük yöntemlerinin ultrason görüntülerinde incelenmesi
Examination of super resolution methods on ultrasound images
EZGİ KÜPÇÜOĞLU YAŞIN
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ŞAKİR BİLGE