Color optimization and diffusion-based post-processing to obtain sharper images without compromising R-D performance in learned image compression
Öğrenilmiş görüntü sıkıştırmada R-D performansını bozmadan daha keskin görüntüler elde etmek için renk optimizasyonu ve difüzyon tabanlı son işleme
- Tez No: 905209
- Danışmanlar: PROF. DR. AHMET MURAT TEKALP, DOÇ. DR. İBRAHİM AYKUT ERDEM, PROF. DR. MEHMET ERKUT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Bilim Dalı
- Sayfa Sayısı: 70
Özet
Dijital çağda, görsel sinyallerin verimli bir şekilde depolanması ve iletilmesi, multimedya içeriğindeki patlayıcı artış nedeniyle büyük önem kazanmıştır. Artan görüntü çözünürlükleri ve geleneksel kodlayıcıların esneklik ve uyum sağlama konusundaki sınırlamaları, gelişmiş görüntü sıkıştırma yöntemlerine olan ihtiyacı artırmaktadır. Bu tezin ilk bölümünde, insan görsel sisteminin luma bileşenine olan hassasiyetinin chroma bileşenlerine kıyasla daha fazla olduğunu göz önünde bulundurarak YCrCb uzayında görüntülerin kodlanması için esnek bir yöntem sunuyoruz. Değişken oranlı görüntü kodlama yaklaşımını YCrCb görüntülerine genişleterek luma ve chroma bileşenleri için ayrı oran ayarlamaları yapılmasını sağlıyoruz. Çıkarım sırasında görüntüye uyarlanabilir luma-chroma bit tahsisi yaparak, Y PSNR'yi artırırken, hafifçe daha düşük chroma PSNR pahasına, renk bozulmalarına yol açmadan daha keskin görüntüler elde edebiliyoruz. Bu strateji, yalnızca RGB PSNR'yi optimize etmekten daha etkili bir şekilde görüntü keskinliğini artırmaktadır. Deneysel sonuçlarımız, YCrCb MSE'yi optimize eden modellerin, aynı bpp oranında RGB MSE'yi optimize eden en güncel modellerle karşılaştırıldığında, daha keskin görüntüler ve daha iyi VMAF ile Y PSNR sağladığını göstermektedir. İkinci bölümde ise, wavelet tabanlı görüntü kodlayıcılarında difüzyon modellerinin son işlem için kullanımını inceliyoruz. Derin üretici modellerin bir türü olan difüzyon modelleri, görüntü işleme alanındaki ters problemler de dahil olmak üzere çeşitli alanlarda büyük bir potansiyel göstermiştir. Sabit, terslenebilir bir dönüşümü öğrenilmiş bir entropi modeli ve difüzyon tabanlı bir son işlem modülü ile entegre ederek, RD performansını bozmadan görsel kaliteyi artırabileceğimizi gösteriyoruz. Deneysel sonuçlarımız, klasik ve öğrenilmiş en güncel kodlayıcılara kıyasla daha keskin görüntüler ve daha iyi algısal kalite elde edilebileceğini göstermektedir.
Özet (Çeviri)
In the digital era, efficient storage and transmission of visual signals have become paramount due to the explosive growth in multimedia content. The need for advanced image compression methods is driven by increasing image resolutions and the limitations of traditional codecs in terms of flexibility and adaptability. In the first part of this thesis, we introduce a flexible method for coding color images in the YCrCb space, addressing the human visual system's greater sensitivity to the luma component over chroma components. We extend the variable-rate image coding approach to YCrCb images, enabling separate rate adjustments for luma and chroma components. By implementing image-adaptive luma-chroma bit allocation during inference, we can increase Y PSNR at the expense of slightly lower chroma PSNR, resulting in sharper images without introducing color artifacts. This strategy enhances image sharpness more effectively than optimizing for RGB PSNR alone. Our experimental results demonstrate that sharper images with better VMAF and Y PSNR can be obtained by optimizing models for YCrCb MSE compared to state-of-the-art models optimizing RGB MSE at the same bpp. In the second part, we explore the use of diffusion models for post-processing in wavelet-based image codecs. Diffusion models, a type of deep generative models, have shown great promise in various domains, including inverse problems in image processing. They are particularly effective at producing visually pleasing textures. By integrating a fixed, invertible transform with a learned entropy model and a diffusion-based post-processing module, we demonstrate enhanced visual quality without compromising the rate-distortion performance. Our experimental results show that sharper images with better perceptual quality and YCrCb PSNR can be obtained compared to state-of-the-art classic and learned codecs.
Benzer Tezler
- Optimizasyon test fonksiyonlarının hibritleştirilmesi ile tasarlanan iki boyutlu hiperkaotik harita kullanılarak çapraz kanal renkli görüntü şifreleme algoritmasının geliştirilmesi
Development of a cross-channel color image encryption algorithm using a two-dimensional hyperchaotic map designed by hybridization of optimization test functions
FEYZA TOKTAŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMersin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ZEKİ YETGİN
DOÇ. DR. UĞUR ERKAN
- Optimization of optical and electrochemical properties of PANI, PEDOT conducting polymers to design electrochromic device
PANI, PEDOT iletken polimerin elektrokromik cihaz tasarımı için optik ve elektrokimyasal özelliklerinin optimizasyonu
İSMAİL BÜTÜN
Yüksek Lisans
İngilizce
2018
Fizik ve Fizik Mühendisliğiİstanbul Teknik ÜniversitesiFizik Mühendisliği Ana Bilim Dalı
PROF. DR. ESRA ÖZKAN ZAYİM
- Kırınım pencereli kurutma sisteminde Maraş yeşilbiberi (Capsicum annuum) püresi kurutma parametrelerinin optimizasyonu ve konvektif kurutucu ile kıyaslanması
Optimization of drying parameters on refractance window drying system in MaraŞ greenpepper (Capsicum annuum) puree and comparison with a convective dryer system
ELİF SENA YÜCEL
Doktora
Türkçe
2024
Gıda MühendisliğiKahramanmaraş Sütçü İmam ÜniversitesiBiyomühendislik ve Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İNCİ DOĞAN
- Stokastik fraktal arama algoritmasının geliştirilerek deri lezyonu görüntü bölütlemesine uygulanması
Implementation of skin lesion image segmentation with enhanced stochastic fractal search algorithm
SERDAR PAÇACI
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OKAN BİNGÖL
DOÇ. DR. UĞUR GÜVENÇ
- Patates cipslerinin tekstürel özellikleri ile kızartmada kullanılan yağların kütle aktarım parametreleri arasındaki ilişkinin incelenmesi
Investigation of the relationship between the textural characteristics of potato chips and mass transfer parameters of the oils used for frying
ŞERMİN DEMİRPENÇE
Yüksek Lisans
Türkçe
2018
Gıda Mühendisliğiİstanbul Teknik ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DOÇ. DR. FİLİZ ALTAY