Geri Dön

Color optimization and diffusion-based post-processing to obtain sharper images without compromising R-D performance in learned image compression

Öğrenilmiş görüntü sıkıştırmada R-D performansını bozmadan daha keskin görüntüler elde etmek için renk optimizasyonu ve difüzyon tabanlı son işleme

  1. Tez No: 905209
  2. Yazar: ÖKKEŞ UĞUR ULAŞ
  3. Danışmanlar: PROF. DR. AHMET MURAT TEKALP, DOÇ. DR. İBRAHİM AYKUT ERDEM, PROF. DR. MEHMET ERKUT ERDEM
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektrik Elektronik Bilim Dalı
  13. Sayfa Sayısı: 70

Özet

Dijital çağda, görsel sinyallerin verimli bir şekilde depolanması ve iletilmesi, multimedya içeriğindeki patlayıcı artış nedeniyle büyük önem kazanmıştır. Artan görüntü çözünürlükleri ve geleneksel kodlayıcıların esneklik ve uyum sağlama konusundaki sınırlamaları, gelişmiş görüntü sıkıştırma yöntemlerine olan ihtiyacı artırmaktadır. Bu tezin ilk bölümünde, insan görsel sisteminin luma bileşenine olan hassasiyetinin chroma bileşenlerine kıyasla daha fazla olduğunu göz önünde bulundurarak YCrCb uzayında görüntülerin kodlanması için esnek bir yöntem sunuyoruz. Değişken oranlı görüntü kodlama yaklaşımını YCrCb görüntülerine genişleterek luma ve chroma bileşenleri için ayrı oran ayarlamaları yapılmasını sağlıyoruz. Çıkarım sırasında görüntüye uyarlanabilir luma-chroma bit tahsisi yaparak, Y PSNR'yi artırırken, hafifçe daha düşük chroma PSNR pahasına, renk bozulmalarına yol açmadan daha keskin görüntüler elde edebiliyoruz. Bu strateji, yalnızca RGB PSNR'yi optimize etmekten daha etkili bir şekilde görüntü keskinliğini artırmaktadır. Deneysel sonuçlarımız, YCrCb MSE'yi optimize eden modellerin, aynı bpp oranında RGB MSE'yi optimize eden en güncel modellerle karşılaştırıldığında, daha keskin görüntüler ve daha iyi VMAF ile Y PSNR sağladığını göstermektedir. İkinci bölümde ise, wavelet tabanlı görüntü kodlayıcılarında difüzyon modellerinin son işlem için kullanımını inceliyoruz. Derin üretici modellerin bir türü olan difüzyon modelleri, görüntü işleme alanındaki ters problemler de dahil olmak üzere çeşitli alanlarda büyük bir potansiyel göstermiştir. Sabit, terslenebilir bir dönüşümü öğrenilmiş bir entropi modeli ve difüzyon tabanlı bir son işlem modülü ile entegre ederek, RD performansını bozmadan görsel kaliteyi artırabileceğimizi gösteriyoruz. Deneysel sonuçlarımız, klasik ve öğrenilmiş en güncel kodlayıcılara kıyasla daha keskin görüntüler ve daha iyi algısal kalite elde edilebileceğini göstermektedir.

Özet (Çeviri)

In the digital era, efficient storage and transmission of visual signals have become paramount due to the explosive growth in multimedia content. The need for advanced image compression methods is driven by increasing image resolutions and the limitations of traditional codecs in terms of flexibility and adaptability. In the first part of this thesis, we introduce a flexible method for coding color images in the YCrCb space, addressing the human visual system's greater sensitivity to the luma component over chroma components. We extend the variable-rate image coding approach to YCrCb images, enabling separate rate adjustments for luma and chroma components. By implementing image-adaptive luma-chroma bit allocation during inference, we can increase Y PSNR at the expense of slightly lower chroma PSNR, resulting in sharper images without introducing color artifacts. This strategy enhances image sharpness more effectively than optimizing for RGB PSNR alone. Our experimental results demonstrate that sharper images with better VMAF and Y PSNR can be obtained by optimizing models for YCrCb MSE compared to state-of-the-art models optimizing RGB MSE at the same bpp. In the second part, we explore the use of diffusion models for post-processing in wavelet-based image codecs. Diffusion models, a type of deep generative models, have shown great promise in various domains, including inverse problems in image processing. They are particularly effective at producing visually pleasing textures. By integrating a fixed, invertible transform with a learned entropy model and a diffusion-based post-processing module, we demonstrate enhanced visual quality without compromising the rate-distortion performance. Our experimental results show that sharper images with better perceptual quality and YCrCb PSNR can be obtained compared to state-of-the-art classic and learned codecs.

Benzer Tezler

  1. Optimizasyon test fonksiyonlarının hibritleştirilmesi ile tasarlanan iki boyutlu hiperkaotik harita kullanılarak çapraz kanal renkli görüntü şifreleme algoritmasının geliştirilmesi

    Development of a cross-channel color image encryption algorithm using a two-dimensional hyperchaotic map designed by hybridization of optimization test functions

    FEYZA TOKTAŞ

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMersin Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ZEKİ YETGİN

    DOÇ. DR. UĞUR ERKAN

  2. Optimization of optical and electrochemical properties of PANI, PEDOT conducting polymers to design electrochromic device

    PANI, PEDOT iletken polimerin elektrokromik cihaz tasarımı için optik ve elektrokimyasal özelliklerinin optimizasyonu

    İSMAİL BÜTÜN

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Fizik ve Fizik Mühendisliğiİstanbul Teknik Üniversitesi

    Fizik Mühendisliği Ana Bilim Dalı

    PROF. DR. ESRA ÖZKAN ZAYİM

  3. Kırınım pencereli kurutma sisteminde Maraş yeşilbiberi (Capsicum annuum) püresi kurutma parametrelerinin optimizasyonu ve konvektif kurutucu ile kıyaslanması

    Optimization of drying parameters on refractance window drying system in MaraŞ greenpepper (Capsicum annuum) puree and comparison with a convective dryer system

    ELİF SENA YÜCEL

    Doktora

    Türkçe

    Türkçe

    2024

    Gıda MühendisliğiKahramanmaraş Sütçü İmam Üniversitesi

    Biyomühendislik ve Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İNCİ DOĞAN

  4. Stokastik fraktal arama algoritmasının geliştirilerek deri lezyonu görüntü bölütlemesine uygulanması

    Implementation of skin lesion image segmentation with enhanced stochastic fractal search algorithm

    SERDAR PAÇACI

    Doktora

    Türkçe

    Türkçe

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. OKAN BİNGÖL

    DOÇ. DR. UĞUR GÜVENÇ

  5. Patates cipslerinin tekstürel özellikleri ile kızartmada kullanılan yağların kütle aktarım parametreleri arasındaki ilişkinin incelenmesi

    Investigation of the relationship between the textural characteristics of potato chips and mass transfer parameters of the oils used for frying

    ŞERMİN DEMİRPENÇE

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Gıda Mühendisliğiİstanbul Teknik Üniversitesi

    Gıda Mühendisliği Ana Bilim Dalı

    DOÇ. DR. FİLİZ ALTAY