Deep learning for background scene reconstruction
Arka plan görüntülerinin yeniden yapılandırması için derin öğrenme
- Tez No: 906047
- Danışmanlar: DR. FRANCOİS PİTİE
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Diğer
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Mühendislik Bilimleri Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 63
Özet
Bir videonun eksik deliklerinin makul içerikle doldurulmasını amaçlayan video iç boyaması, videonun tamamlanması diye de adlandırılmaktadır ve sentezlenmiş içeriğin mekânsal ve zamansal uyumundan gelen zorluklara bağlı zorlu bir iştir. Bu çalışma, özgün bir iç boyama yaklaşımlı akış-güdümlü algoritmayı öngörmektedir. Çalışmadaki video iç boyaması, her bir tek film karesinin doğrudan RGB piksellerinde doldurulması yerine, piksel bir yayılım yöntemi olarak değerlendirilmiştir. İlk adım olarak, mekânsal ve zamansal uygunluk optik akım alanı çaprazlama video çerçeveleri, ResNet kodlayıcılı U-Net mimari katkısıyla sentezlenmiştir. Daha sonra, sentezlenmiş optik akım, videodaki eksik bölgelerin doldurulması amacıyla piksellerin yayılımına yönlendirilmiştir. Eksik bölgelerin iyi bir şekilde doldurulması amaçlı yayılım hareketi tam olarak başarılamayacağı için, derin bir ağ temelli görüntü iç boyama algoritması uygulanmıştır. Seçilen yöntem, nitel ve nicel olarak, iç boyama kalitesi ve hızı ile ilgili olarak sanat performans durumunu elde edilmesiyle, DAVIS veri seti üzerinde değerlendirilmiştir. Bu çalışmanın akım tamamlama yöntemi, L1 kaybı için 0.01484 ile, PSNR için 36.3349 ve SSIM için de 0.9681 ile sonuçlanmıştır. Bu durumu basite indirgemek üzere diyebiliriz ki, derin öğrenme ve optik akımın çalıştırılması, bu çalışmadaki video silsilelerindeki eksik deliklerin tatminkar ve gerçekçi bir biçimde doldurulması ciddi roller oynamaktadır. Dahası, U-Net mimari yardımlı ResNet kodlayıcı ve GAN iç boyama algoritmaları, video iç boyamasını gerçekleştirecek anahtar faktörler olmuştur.
Özet (Çeviri)
Video inpainting which aims to fill the missing holes of a video with plausible content is also called video completion and is a challenging task due to the difficulties coming from the spatial and temporal coherence of the synthesized content. This work proposes a novel inpainting approach implementing flow-guided algorithm. Video inpainting has been considered in the study as a pixel propagation method instead of filling in the RGB pixels of each single frame directly. As an initial step, spatially and temporally coherent optical flow field across video frames has been synthesized with the help of U-Net architecture with ResNet encoder. Afterwards, the synthesized optical flow has guided the propagation of pixels in order to fill up the missing regions in the video. Since propagating motion fields to fill up all the missing regions properly cannot be fully achieved, a deep network based image inpainting algorithm has been applied. The method chosen has been evaluated on DAVIS dataset, qualitatively and quantitatively, achieving the state-of-the-art performance as regards inpainting quality and speed. Flow completion method of this work has resulted in 0.01484 for L1 loss, 36.3349 for PSNR and 0.9681 for SSIM. To put it simply, deep learning and employing optical flow play critical roles in achieving a satisfying and realistic fill up of the missing holes in video sequences in this work. What's more, ResNet encoder with U-Net architecture and GAN inpainting algorithms have been the key factors to realize video inpainting.
Benzer Tezler
- Scene-preserving person appearance transfer
Sahneyi koruyan kişi görünüm aktarımı
FAHRİYE ÖZGE ÜNEL
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- A statistical framework for degraded underwater video generation
Bozulmuş sualtı video üretimi için istatistiksel bir yapı
SERKAN ŞATAK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Automatic airplane detection using deep learning techniques and very high-resolution satellite images
Derin öğrenme teknikleri ve çok yüksek çözünürlüklü uydu görüntüleri kullanılarak otomatik uçak tespiti
BAKARY TRAORE
Yüksek Lisans
İngilizce
2020
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
Prof. Dr. ELİF SERTEL
- Lifelong learning for auditory scene analysis
İşitsel sahne analizi için hayat boyu öğrenme
BARIŞ BAYRAM
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE