Learned image SR: advancing In modeling and generative sample selection
Öğrenilmiş görüntü süper çözünürlük: Modelleme ve üretici örnek seçiminde ilerleme
- Tez No: 941822
- Danışmanlar: DR. ÖĞR. ÜYESİ ZAFER DOĞAN, PROF. DR. AHMET MURAT TEKALP
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 136
Özet
Süper çözünürlük (SÇ), düşük çözünürlüklü görüntülerden kayıp detayları geri kazanarak yüksek çözünürlüklü görüntüler oluşturmayı amaçlayan, iyi tanımlanmamış bir ters problemdir. Gelişmelere rağmen, SÇ hala genelleme, algısal kaliteyi dengeleme, yapay detay ve bozulmaları azaltma ve güvenilir sonuçlar elde etme konularında zorluklarla karşılaşmaktadır. Bu tez, model mimarisi, kayıp tasarımı ve örnek seçimi alanlarında yenilikçi yaklaşımlar sunarak bu zorlukları ele almaktadır. Katkılarımızın merkezinde, SÇ modellerinin gerçek detayları yapay artefaktlardan ayırt etme yeteneğini artıran dalgacık alanındaki kayıpların kullanımı yer almaktadır. Bu kayıpları hem GAN tabanlı hem de dönüştürücü (transformer) tabanlı modellerde kullanarak, algısal kaliteyi artırmayı başardık. Ayrıca, transformer mimarilerini evrişimsel yerel olmayan seyrek dikkat blokları ve dalgacık tabanlı eğitimle destekleyerek, algılama alanlarını önemli ölçüde genişletiyor ve çeşitli veri kümelerinde son teknoloji performansı sağlıyoruz. Üretici modeller için, akış (flow) ve yayılma (diffusion) tabanlı modellerin ürettiği çeşitli çıktılar arasından tek bir güvenilir çözüm seçme sorununu ele alıyoruz. Akış tabanlı modeller için algı-bozulma dengesini optimize etmek amacıyla görüntü birleştirme stratejileri öneriyor; yayılma tabanlı modeller için güvenilir örnekleri seçmek adına insan geri bildirimi ve görsel-dil modeli (VLM) rehberli yaklaşımlar sunuyoruz. Bu stratejiler, güvenilir SR çıktıları oluştururken insan değerlendirmeleriyle uyumlu ve hatta onları aşabilen ölçeklenebilir ve otomatik çözümler sağlamaktadır. Bu tez, hem regresif hem de üretici paradigmaları kapsayan SÇ metodolojilerinde kapsamlı ilerlemeler sunmaktadır. Yenilikçi çerçeveler ve ölçeklenebilir çözümler sunarak, SÇ alanında güvenilirlik, verimlilik ve görsel kalite için yeni standartlar belirlemekte ve tıbbi görüntüleme, uydu görüntüleri ve dijital içerik geliştirme gibi gerçek dünya uygulamaları için umut vadeden sonuçlar ortaya koymaktadır.
Özet (Çeviri)
Super-resolution (SR) is an ill-posed inverse problem focused on reconstructing high-resolution images from low-resolution counterparts by recovering missing details. Despite advancements, SR faces persistent challenges in generalization, balancing fidelity and perceptual quality, mitigating artifacts, and ensuring trustworthy results. This thesis tackles these issues through innovations in model architecture, loss design, and sample selection. Central to our contributions is the use of wavelet loss, which improve the ability of SR models to distinguish genuine details from artifacts. By leveraging these losses in both GAN-based and transformer-based models, we achieve enhanced fidelity and perceptual quality. Furthermore, we augment transformer architectures with convolutional non-local sparse attention blocks and wavelet-based training, delivering state-of-the-art performance across diverse datasets. For generative models, we address the challenge of selecting a single trustworthy solution from the diverse outputs generated by flow-based and diffusion-based models. We propose image fusion strategies for flow-based models to optimize the perception-distortion trade-off and introduce human-in-the-loop and vision-language model-guided approaches for selecting reliable diffusion model samples. These strategies provide scalable, automated solutions that match or surpass human assessments in generating trustworthy SR outputs. This thesis presents comprehensive advancements in SR methodologies, spanning both regressive and generative paradigms. By introducing novel frameworks and scalable solutions, it sets new benchmarks for reliability, efficiency, and visual quality in SR, with promising implications for real-world applications, including medical imaging, satellite imagery, and digital content enhancement.
Benzer Tezler
- Multi-model and multi-stage learned image super-resolution
Çoklu model ve çoklu eğitim ile öğrenilen süper çözünürlük
CANSU KORKMAZ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZAFER DOĞAN
PROF. DR. AHMET MURAT TEKALP
- Super-resolution of landsat-8 images using sentinel-2 images and generative adversarial networks
Sentinel-2 görüntüleri ve çekişmeli üretici ağlar kullanılarak landsat-8 görüntülerinin süper çözünürlüğü
ESRA SUNKER
Yüksek Lisans
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF SERTEL
PROF. DR. BÜLENT BAYRAM
- Double network superresolution
Çift ağlı süperçözünürlük
CEM TARHAN
Doktora
İngilizce
2019
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE BOZDAĞI AKAR
- Antarktika buzullarında kimyasal analizler
Chemical analysis of Antarctic ice core
GAMZE NEŞE ÖZCAN
Yüksek Lisans
Türkçe
2022
Kimya Mühendisliğiİstanbul Teknik ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATMA ELİF GENCELİ GÜNER
- Learned image restoration and super-resolution
Makine öğrenimi ile imge onarımı ve süper çözünürlüğü
OGÜN KIRMEMİŞ
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET MURAT TEKALP