End-to-end learned image compression with conditional latent space modelling for entropy coding
Uçtan uca öğrenilmiş görüntü sıkıştırma ve entropi kodlama için gizli uzayın koşullu modellenmesi
- Tez No: 581665
- Danışmanlar: DOÇ. DR. FATİH KAMIŞLI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 94
Özet
Bu tezde, uçtan uca eğitilebilen sinir ağı temelli kayıplı görüntü sıkıştırma sistemi sunulmaktadır. Geleneksel sıkıştırma algoritmaları basit veri modellerine dayalı ve basit yapılı doğrusal dönüşüm, nicemleme ve entropi kodlama adımlarından oluşur. Sinir ağı temelli görüntü sıkıştırma yöntemlerinde ise doğrusal dönüşüm ve entropi kodlama adımları sinir ağları aracılığıyla gerçekleştirilir. Sinir ağları sayesinde, sayısal işlem karmaşıklığı artmakla birlikte, dönüşümler ve entropi kodlama için gerekli olasılık modelleri görüntüler eniyilenmiş bir şekilde işlenebilir ve karmaşık bağlantılar modellenebilir. Sinir ağı tabanlı başlıca görüntü sıkıştırma çalışmalarında, dönüşüm ve ters-dönüşüm adımları için otokodlayıcı temelli bir ağ yapısı kullanılır. Saklı değişkenlerin (dönüşüm kat sayıların) nicemlenmesi ve aritmetik kodlanmasında geleneksel yöntemler kullanılırken, aritmetik kodlayıcı tarafından kullanılan bu değişkenlerin olasılık dağılımları ise bir sinir ağı ile temsil edilir. Sistemde bulunan sinir ağlarının parametreleri, resimlerden oluşan bir veri kümesi yardımıyla, hız-bozulma bedelini küçülterek öğrenilir. Sinir ağı tabanlı sıkıştırma konusundaki önemli bir çalışmada, tek bir kanaldaki (özellik haritasınındaki) saklı değişkenlerin kendi içinde bağımsız olduğu kabul edilip, her bir kanal için tek bir dağılım modeli öğrenilmiştir. Daha sonra aynı yazarlar bu çalışmayı, üstönsel yardımıyla, bir kanal içerisindeki bağımlılıkları modelleyerek sıkıştırma başarımını önemli derecede artırmıştır. Bu tezde ise saklı gösterimdeki bağımlılıkları modellemek için alternatif bir yöntem kullanılmıştır. Saklı değişkenlerin dağılımı, koşullu dağılımların çarpımı olarak modellenmiştir. Ancak, her bir değişkeni önceki tüm değişkenlere koşullamak yerine, Markov özelliği varsayılarak sadece bir kaç yakın komşusuna (üst, sol ve sol-üst) koşullanmıştır. Sunulan koşullu dağılım tabanlı algoritma, üstönsel tabanlı algoritmaya göre daha basit bir sinir ağı içermesi ve daha az sayıda parametre içermesine rağmen, sıkıştırma performansı üstönsel tabanlı çalışma ile başa baş başarım elde edilirken, kodlama süresi açısından daha uzun sürmektedir.
Özet (Çeviri)
This thesis presents a lossy image compression system based on an end-to-end trainable neural network. Traditional compression algorithms use linear transformation, quantization and entropy coding steps that are designed based on simple models of the data and are aimed to be low complexity. In neural network based image compression methods, the processing steps, such as transformation and entropy coding, are performed using neural networks. The use of neural networks enables transforms or probability models for entropy coding that can optimally process or represent data with much more complex dependencies instead of simple models, all at the expense of higher computational complexity than traditional methods. One major line of work on neural network based lossy image compression uses an autoencoder-type neural network for the transform and inverse transform of the compression system. The quantization of the latent variables, i.e. transform coefficients, and the arithmetic coding of the quantized latent variables are done with traditional methods. However, the probability distribution of the latent variables, which the arithmetic encoder works with, is represented also with a neural network. Parameters of all neural networks in the system are learned jointly from a training set of real images by minimizing the rate-distortion cost. One major work assumes the latent variables in a single channel (i.e. feature map or signal band) are independent and learns a single distribution model for each channel. The same authors then extend their work by incorporating a hyperprior neural network to capture the dependencies in the latent representation and improve the compression performance significantly. This thesis uses an alternative method to exploit the dependencies of the latent representation. The joint density of the latent representation is modeled as a product of conditional densities, which are learned using neural networks. However, each latent variable is not conditioned on all previous latent variables as in the Chain rule of factoring joint distributions, but only on a few previous variables, in particular the left, upper and upper-left spatial neighbors of that latent variable based on Markov property assumption. The compression performance is on par with the hyperprior based work, but the conditional densities require a much simpler network than the hyperprior network in the literature. While the conditional densities require much less training time due to their simplicity and less number of parameters than the hyperprior based neural network, their inference time is longer.
Benzer Tezler
- Kule tipi güneş santrallerinin heliostat saha optimizasyonu
The heliostat field optimization of solar tower power plants
TOLGA AKIŞ
Yüksek Lisans
Türkçe
2021
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
PROF. DR. ÜNER ÇOLAK
- Uçak bakımında hasar analizi uygulamaları
Failure analysis applications in aircraft maintenance
ARİF NAİL YÜCEL
Yüksek Lisans
Türkçe
2018
Uçak MühendisliğiEskişehir Teknik ÜniversitesiUçak Gövde Motor Bakım Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALPER ULUDAĞ
- End-to-end learned image compression with normalizing flows for latent space enhancement
Normalize eden akışlar ile geliştirilen saklı uzay kullanılarak uçtan uca öğrenilmiş görüntü sıkıştırma
FATİH YAVUZ
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI
- Image compression method based on learned lifting-based DWT and learned zerotree-like entropy model
Öğrenilmiş kaldıraç tabanlı DWT ve öğrenilmiş zerotree-benzeri entropi modeline dayalı görüntü sıkıştırma yöntemi
UĞUR BERK ŞAHİN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI
- Deep image compression with a unified spatial and channel context auto-regressive model
Birleştirilmiş uzaysal ve kanal içerik özbağlanım modeli ile derin görüntü sıkıştırma
ALİ SEFKAN ULUDAĞ
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATİH KAMIŞLI