Real-time stereo to multi-view video conversion
Gerçek zamanlı stereodan çoklu-görüntülü videoya dönüşüm
- Tez No: 313609
- Danışmanlar: PROF. DR. A. AYDIN ALATAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 192
Özet
Yeni jenerasyon 3B-TV'ler ve oto-stereoskopik çok görüntülü ekranlar için uygun içerik sağlamak için etkin ve yenilikçi bir stereodan çok-görüntülü videoya dönüşüm yöntemi sunulmaktadır. Böyle bir dönüşüm sisteminde, temel olarak, stereo görüntüden 3B bilgisi çıkarımını ve varolmayan görüntülerin sentezini amaçlayan, sırasıyla stereo eşleme ve sanal görüntü oluşturma olmak üzere iki ana algoritma bloğu bulunmaktadır. Bu fonksiyonel blokların ara aşamalarında, her pikel için renk benzerliğine sahip komuşu pikseler üzerinden bağlı destek bölgeleri oluşturan, yeni bir kenar koruyan filtre önerilmektedir. Sunulan döngülü güncelleme, filtrelerdeki geleneksel pencere kullanımını ortadan kaldırmakta ve tamamen içeriğe bağlı bir filtrelemeyi, düşük işlem karmaşıklığıyla gerçeklemektedir. Kapsamlı testler sonucunda, önerilen filtrenin literatürdeki öncü yaklaşımlardan daha iyi veya karşılaştırılabilir sonuçlar elde ettiği gözlenmektedir. Önerilen filtre, temel olarak stereo eşleme sırasında yüksek kalitede derinlik haritaları elde edilmesini sağlayan ceza fonksiyonlarının biriktirilmesi ve örtük bölgelerin düzeltilmesi için kullanılmaktadır. Bu yenilikçi yaklaşım, integral görüntü paradigmasına benzer bir şekilde, her pikselin adaptif ağırlıklar ile sabit zamanda eşlenmesini sağlamaktadır. Middlebury karşılaştırmalı değerlendirmesine göre, önerilen teknik, daha az işlem karmaşasıyla daha doğru sonuç vermesi açısından literatürdeki en iyi bölgesel stereo eşleme algoritması olmaktadır. Derinlik kestirimi yapıldıktan sonra, sanal görüntü oluşturulması, referans görünülerin istenen bakış açısına taşınmasına dayanan derinlik tabanlı sentez ile sağlanmaktadır. Bu aşamada, dikkat çeken bölgelerdeki hataların ortadan kaldırılması için derinlik hata geribildirimi mekanizması önerilmektedir. Bunun yanında, kenar-farkında filtre, görüntü sentezleme sırasında oluşan boşluk ve örtük bölgelere uygun renk atamasının sağlanması için değiştirilerek kullanılmaktadır. Önerilen sistemin etkinliği, paralel işleme olanağı sağlayan özel bir ekran kartı üzerinde gerçek zamanlı uyarlama ile kanıtlanmaktadır. Stereo eşleme ve sanal görüntü oluşturma üzerinde yapılan kapsamlı deneyler sonucunda, önerilen yaklaşım varolan tekniklere göre, işlem hızı, hafıza isteri ve çıktı kalitesi açısından daha iyi performans sağlamaktadır.
Özet (Çeviri)
A novel and efficient methodology is presented for the conversion of stereo to multi-view video in order to address the 3D content requirements for the next generation 3D-TVs and auto-stereoscopic multi-view displays. There are two main algorithmic blocks in such a conversion system; stereo matching and virtual view rendering that enable extraction of 3D information from stereo video and synthesis of inexistent virtual views, respectively. In the intermediate steps of these functional blocks, a novel edge-preserving filter is proposed that recursively constructs connected support regions for each pixel among color-wise similar neighboring pixels. The proposed recursive update structure eliminates pre-defined window dependency of the conventional approaches, providing complete content adaptibility with quite low computational complexity. Based on extensive tests, it is observed that the proposed filtering technique yields better or competetive results against some leading techniques in the literature. The proposed filter is mainly applied for stereo matching to aggregate cost functions and also handles occlusions that enable high quality disparity maps for the stereo pairs. Similar to box filter paradigm, this novel technique yields matching of arbitrary-shaped regions in constant time. Based on Middleburry benchmarking, the proposed technique is currently the best local matching technique in the literature in terms of both precision and complexity. Next, virtual view synthesis is conducted through depth image based rendering, in which reference color views of left and right pairs are warped to the desired virtual view using the estimated disparity maps. A feedback mechanism based on disparity error is introduced at this step to remove salient distortions for the sake of visual quality. Furthermore, the proposed edge-aware filter is re-utilized to assign proper texture for holes and occluded regions during view synthesis. Efficiency of the proposed scheme is validated by the real-time implementation on a special graphics card that enables parallel computing. Based on extensive experiments on stereo matching and virtual view rendering, proposed method yields fast execution, low memory requirement and high quality outputs with superior performance compared to most of the state-of-the-art techniques.
Benzer Tezler
- End-to-end stereoscopic video streaming system
Uçtan uca duraksız stereo video aktarım sistemi
SELEN PEHLİVAN
Yüksek Lisans
İngilizce
2006
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. REHA CİVANLAR
- Yakın resim fotogrametrisinde mikrofotogrametrik uzman sistem tasarımı, tesisi ve kalibrasyonu
A micro-photogrammetric expert systems design, application and calibration in close range photogrammetry
BAHADIR ERGÜN
Doktora
Türkçe
2003
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiJeodezi ve Fotogrametri Mühendisliği Ana Bilim Dalı
PROF. DR. ORHAN ALTAN
- Accuracy analysis and evaluation of UAS photogrammetry and structure from motion in engineering surveying
Mühendislik ölçmelerinde İHA fotogrametrisi ve SFM'nın doğruluk analizi ve değerlendirilmesi
SAYED ISHAQ DELIRY
Yüksek Lisans
İngilizce
2020
Jeodezi ve FotogrametriAnadolu ÜniversitesiUzaktan Algılama ve Coğrafi Bilgi Sistemleri Ana Bilim Dalı
DOÇ. DR. UĞUR AVDAN
- Derin öğrenme tabanlı yöntemlerle düşük ışıklı görüntü iyileştirme
Low light image enhancement with deep learning based methods
EMİN CİHANGİR US
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Grafik işlemci birimi üzerinde genel amaçlı hesaplama yöntemi ile görüntülerin gerçek zamanlı ortorektifikasyonu
Real time orthorectification of images by general purpose computation on graphical processing units method
HAKAN ŞAHİN
Doktora
Türkçe
2016
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET SITKI KÜLÜR