A learned post-processing model with quality-gated convlstm for video compression
Video sıkıştırma için kalite kapılı evrişimsel uzun-kısa süreli bellek ile öğrenilmiş bir işlem sonrası model
- Tez No: 836744
- Danışmanlar: PROF. DR. AHMET MURAT TEKALP
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
Son dönemlerde, kodlama verimliliği ve kalite iyileştirme açısından derin öğrenmenin video sıkıştırma ve iyileştirmede uygulanmasında önemli ilerleme kaydedilmiştir. Bu çalışmada, video sıkıştırma ve yeniden inşa etme için, göreceli kalite dikkate alınarak sıkıştırılmış video karelerinin kalitesini artırmak için Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücrelerini içeren öğrenilmiş bir işleme sonrası ağ önerilmektedir. Önerilen Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücre tabanlı son işleme ile ağın, komşu sıkıştırılmış kareler arasındaki kareler arası korelasyon ve kalite dalgalanmasından faydalanmakta ve bundan tam avantaj sağlanmaktadır. Yüksek kaliteli sıkıştırılmış çerçeveler, düşük kaliteli sıkıştırılmış çerçevelerden daha yararlı bilgiler sağladığından, önerilen ağ Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücrelerindeki unut ve giriş kapı ağırlıklarını ayarlayabilmektedir. Çerçeveler arasında göreceli kalite bilgisi kullanan önerilen ağın gelişimini göstermek için, girdi olarak ağa verilen video çerçeveleri, standart VVC (H.266) sıkıştırma algoritması kullanılarak farklı kalite değerleriyle hiyerarşik olarak sıkıştırılmaktadır. Önerilen ağda, Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek ağına verilen ağırlıklar, sıkıştırılmış video karelerinden kaliteyle ilgili özelliklerin çıkarılmasıyla belirlenmektedir. Ek olarak, kalite özelliği çıkarımı için bir referans çerçevesi bulunmadığından Transformer, göreceli sıralama ve öz-tutarlılık algoritmalarını kullanan referanssız bir görüntü kalitesi değerlendirme yöntemi önerilmektedir. Önerilen ağın kalite iyileştirme performansı, PSNR, MS-SSIM ve VMAF gibi, sıklıkla kullanılan metriklerle ölçülür.
Özet (Çeviri)
Recently, significant progress has been shown in applying deep learning to video compression and enhancement in terms of coding efficiency and quality improvement. In this work, a learned post-processing network is proposed for video compression and restoration tasks, which contains Quality-Gated Convolutional Long Short-Term Memory (QG-ConvLSTM) cells to enhance the quality of the compressed video frames considering the relative quality. With the proposed QG-ConvLSTM cell-based post-processing, the network exploits and takes full advantage of the inter-frame correlation and quality fluctuation between neighboring compressed frames. Since high-quality compressed frames provide more helpful information than low-quality compressed frames, the network can adjust the input and forget gate weights in QG-ConvLSTM cells. To show the enhancement of the proposed network that uses relative quality information between frames, video frames given to the network as inputs are compressed hierarchically with different qualities using the standard VVC (H.266) codec. In the proposed network, the weights given to the QG-ConvLSTM network are determined by extracting quality-related features from compressed video frames. Additionally, there is no reference frame for the quality feature extraction, so a no-reference image quality assessment method via Transformers, relative ranking, and self-consistency is suggested. The quality enhancement performance of the proposed network is measured with frequently used metrics, namely PSNR, MS-SSIM, and VMAF.
Benzer Tezler
- Color optimization and diffusion-based post-processing to obtain sharper images without compromising R-D performance in learned image compression
Öğrenilmiş görüntü sıkıştırmada R-D performansını bozmadan daha keskin görüntüler elde etmek için renk optimizasyonu ve difüzyon tabanlı son işleme
ÖKKEŞ UĞUR ULAŞ
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET MURAT TEKALP
DOÇ. DR. İBRAHİM AYKUT ERDEM
PROF. DR. MEHMET ERKUT ERDEM
- Face recognition and person re-identification for person recognition
Kişi tanıma için yüz tanıma ve kişinin yeniden tanınması
EMRAH BAŞARAN
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
PROF. DR. MUHİTTİN GÖKMEN
- Multi-model and multi-stage learned image super-resolution
Çoklu model ve çoklu eğitim ile öğrenilen süper çözünürlük
CANSU KORKMAZ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZAFER DOĞAN
PROF. DR. AHMET MURAT TEKALP
- Detection and classification of breast cancer in whole slide histopathology images using deep convolutional networks
Derin evrişimli ağlar ile tüm slayt histopatolojisi resimlerinde meme kanseri tesbiti ve sınıflandırılması
BARIŞ GEÇER
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELİM AKSOY
- Animasyon tekniği ve 5E öğrenme modelinin 8. sınıf ?yaşamımızdaki elektrik? ünitesinin işlenmesinde akademik başarı, tutum ve eleştirel düşünebilme yeteneklerine etkisinin araştırılması
Researching the effect of the animation technique and 5E learning model on academic achievement, attitude and critical thinking skills while processing the unit of ?electricty in our life? for the 8th grades
ELİF BERRAK GÜNDÜZ BAHADIR
Yüksek Lisans
Türkçe
2012
Eğitim ve ÖğretimAtatürk Üniversitesiİlköğretim Ana Bilim Dalı
DOÇ. DR. SABRİYE SEVEN