Deep image compression with a unified spatial and channel context auto-regressive model
Birleştirilmiş uzaysal ve kanal içerik özbağlanım modeli ile derin görüntü sıkıştırma
- Tez No: 762353
- Danışmanlar: DOÇ. DR. FATİH KAMIŞLI
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 90
Özet
Yakın zamanda, boyut azaltma özelliğinden dolayı, değişimsel oto-kodlayıcılar büyük bir ilgi toplamıştır. Bu tip modellerin üç ana parçası bulunmaktadır. Bunlar kodlayıcı, kod çözücü ve entropi ağlarıdır. Kodlayıcı kısmı, görüntüyü yüksek boyutlara sahip olan girdi uzayından düşük boyutlara sahip olan örtük uzaya dönüştürür. Bunun yanında, kod çözücü ise tekrardan boyut yükselterek örtük uzaydan görüntü uzayına dönüştürme görevindedir. Entropi modeli ise aritmetik kodlamada kullanılmak üzere örtük uzaydaki elemanların olasılık dağılımlarını üretmek için eğitilmektedir. Uçtan uca optimizasyon, kod çözücünün çıktısının bozulma kaybı ve entropi ağının çıktısının hız kaybının ağırlıklı toplamı ile gerçekleştirilmektedir. Değişimsel oto-kodlayıcı temelli öğrenilmiş görüntü sıkıştırma teknikleri ilk Ballé (2016) ile tanıtılmıştır. Ballé (2018) örtük uzaydaki uzaysal koşullulukları daha iyi ifade edebilmek için bir hiper-evvel ağı uyarlayarak geliştirmiştir. Uzaysal ve kanalsal içerik modelleri Minnen (2018) ve Minnen (2020) ile eklenmiştir. Bu özbağlanımlı modeller entropiyi azaltmak için uygulanmıştır. Bu tez bahsi geçen görüntü sıkıştırma mimarileri üzerine inşa edilen bir görüntü sıkıştırma modeli sunmaktadır. Her iki özbağlanımlı model de bu çalışmada kullanılmıştır. Uzaysal özbağlanımlı ve kanalsal özbağlanımlı modellerin birbirini tamamlayıcı özellikte oldukları ve birlikte kullanımlarının hız-bozulma performanını arttırdığı gözlenmiştir. Kanalsal özbağlanımlı model örtük uzaydaki temsili kanal boyutu boyunca daha küçük kanala sahip olan parçalara böler. Bu model, işlenmekte olan kanal parçasını daha önce işlenen kanal parçalarına koşullayarak kanallar arasındaki fazlalıkları giderir. Uzaysal özbağlanımlı model ise bir kanal parçası içerisindeki uzaysal korelasyonları yakalar. Bunlara ilaveten, örtük değişken daha küçük parçalara ayrılarak uzaysal özbağlanımlı modelin parelelleştirilmesinin mümkün olduğu gözlenmiştir.
Özet (Çeviri)
Recently, variational auto-encoder-based compression models have gained much attention in learned image compression field due to their dimension reduction property. These models have three essential components which are encoder, decoder and entropy network. Encoder part of the VAE transforms a high dimensional space to a lower dimensional latent space, whereas the decoder serves as a reconstructing transformation. The entropy model is trained to generate the probability distributions of the latent representation to be used in arithmetic coding. End-to-end optimization is performed to minimize a rate-distortion loss composed of weighted sum of distortion loss of the decoder output and rate loss of the entropy model output. The VAE-based learned lossy image compression first introduced in Ballé (2016). Ballé (2018), improved this model by adapting a hyperprior network to increase the expression ability of spatial dependencies in the latent variable. Spatial auto-regressive and channel auto-regressive models are introduced in Minnen (2018) and Minnen (2020) respectively, to decrease the entropy of latent representation. This thesis presents a lossy image compression model which builds upon the aforementioned image compression architectures. It has been observed that spatial auto-regressive and channel auto-regressive models can be complementary and enhance the rate-distortion performance of the network. The channel auto-regressive model splits the latent representation along the channel dimension. It eliminates redundancies between channel slices by conditioning the slice being decoded to previously decoded slices. Spatial auto-regressive model captures the spatial correlations within a slice. Furthermore, it has been observed that the cumbersome spatial auto-regressive model can be parallelized by dividing the latent variables into smaller patches. Elements with the same index across patches are processed together, allowing parallel computation.
Benzer Tezler
- Joint calibration and reconstruction for focal plane array imaging
Odak düzlemi dizisi görüntüleme için birleşik kalibrasyon ve geriçatım
MUHAMMET UMUT BAHÇECİ
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Efficient three-dimensional near-field imaging with physics-informed deep learning for MIMO radar
Fizik tabanlı derin öğrenme teknikleri ile üç boyutlu yakın alan MIMO radar görüntüleme
OKYANUS ORAL
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEVİNÇ FİGEN ÖKTEM SEVEN
- Yakacık toplu konut alanı zeminlerinin jeoteknik incelemesi
Geotechnical study of the fondations in Yakacık mass housing area
DEMET ÇAKIR
Yüksek Lisans
Türkçe
1997
Jeoloji MühendisliğiHacettepe ÜniversitesiJeoloji Mühendisliği Ana Bilim Dalı
PROF. DR. K. ERÇİN KASAPOĞLU
- A pixel-by-pixel learned lossless image compression methodwith parallel decoding
Paralel kod çözme ile piksel-piksel öğrenilmiş kayıpsız görüntü sıkıştırma yöntemi
SİNEM GÜMÜŞ
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI
- Compressed domain image classification with sub-band data fusion
Sıkıştırılmış düzlemde alt-bant bileşen harmanlama yöntemi ile görüntü sınıflandırma
BERK ARICAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
DR. LEVENT ÇARKACIOĞLU