Augmented reality 3D display and light field imaging systems based on passive optical surfaces
Pasif optik yüzeylere dayalı artırılmış gerçeklik 3D ekran ve ışık alan görüntüleme sistemleri
- Tez No: 492512
- Danışmanlar: PROF. DR. HAKAN ÜREY
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 141
Özet
Bu tezde geliştirilen bir takım mikro yapılı pasif optik yüzeylerin, mobil projektörler ve kameralarla birleştirilmesiyle tasarlanan özgün ekran ve görüntüleme teknikleri sunulmaktadır. Üç farklı yeni optik yüzey geliştirilmiştir: (i) arttırılmış gerçeklik ve otomotiv sanal gösterge paneli (HUD) uygulamaları için geliştirilmiş şeffaf bir retro-reflektif yüzey olan şeffaf AR ekranı, (ii) standart bir kamera yardımıyla ışık alanını yakalanmasını sağlayan bir taşınabilir lens dizisi olan 3B görüntüleme yüzeyi (iii) iki farklı yüzeyi birleştirerek aynı yüzeyde 3B ekran ve 3B görüntüleme sağlayan bütünleşik çift amaçlı ekran. Şeffaf AR ekranı, küçük bir görüntüleme penceresinde yüksek optik kazanç sağlayarak, parlak içeriği üretmek için düşük lümenli çıkışa, örneğin kafaya monte lazer projektörlerinin kullanılmasına olanak tanımaktadır. Yüzeyin, retro-reflektif mikro kürecikler ile kısmen örtülmesi yoluyla yüksek görme oranı elde edilmiştir. Ekran yansıması ve optik kazanç, retro-reflektif dolgu faktörünün değiştirilmesi ile değiştirilebilmektedir. Bu çalışmada % 50, % 75 ve % 90 şeffaflık sağlayan ekranın üç versiyonu geliştirilmiştir. Çalışmanın ilk aşamasında şeffaf retro-reflektörlü AR ekranı, 3B görme için bir çift kafaya monteli lazer projektörüyle (piko projektörler olarak) kullanılmıştır. İki göz arasında % 1 sızıntıyla (crosstalk), 30 lümenli projektör kullanarak 1.000 cd/m2 parlaklık sağlayan bir stereoskopik görüntü elde edilmiştir. Otomotiv 3B sanal gösterge paneli uygulamaları için, benzetimi yapılmış kolimasyon koşullarını test etmek ve farklı ekran mesafelerinde sanal görüntü algısı için bir kullanıcı çalışması yapılmıştır. Kullanıcı deneyinde arka planın görülebildiği durumdaki görsel keskinlik yanıtına ve görme keskinliğinin sanal gösterge panelinin mesafesi ile Konaklama-Yakınsaklık (AC) çatışmasının miktarı arasındaki ilişki ölçülmeye çalışılmıştır. Sanal gösterge panelinin (HUD) sürücü / kullanıcı ile gerçek sahne arasına yerleştirildiğinde görme keskinliğinin hafifçe düştüğünü (20/20'dan 20/25'e) gösterilmiştir. Benzetimi yapılan kolimasyon koşulları için, AC çatışması miktarı ile görme keskinliği arasında ters bir ilişki gözlenmiş olup AC çatışması 0,87 diopterden daha az olduğunda veya ekran mesafesi> 100 cm olduğunda görme keskinliği ve izleme konforunda minimum etkisi olduğu gözlenmiştir. 3B görüntüleme yüzeyi, sıradan bir kamerayı farklı açılardan görüntüleri bir seferde kaydedebilen ışıksal-alan tabanlı 3B kamera sistemine dönüştürmektedir. 3B görüntüleme yüzeyi üzerinde bulunan takip etiketleri ve lens dizisi sayesinde ortamın farklı açılardan 3 boyutlu görüntüsünü sunmaktadır. Sıradan bir kamera ile 3B görüntüleme yüzeyinin fotoğrafı çekildiğinde 3B görüntüleme yüzeyinin üzerinde ortamın farklı açılardan görüntüleri kaydedilebilmektedir. 3B görüntüleme yüzeyinin çekilen kamera görüntüsündeki pozisyonu 4 köşesinde bulunan etiketler sayesinde bulunabilmektedir. Gerçek zamanlı bir şekilde ortamın ışıksal-alan kaydını yapan bir hesaplamalı görüntüleme aracı geliştirdik ve görüntüleme yüzeyi ile dijital olarak çekimden sonra çekilen görüntünün odağını değiştirebildiğimizi ve görüntü içerisindeki kısmi perdelenme problemlerini çözebildiğimizi gösterdik. Son olarak, aynı anda hem 3B ekran olarak kullanılabilen hem de üzerindeki yansımalardan ortamın görüntüsü kaydedilebilen yeni çok amaçlı entegre ekran oluşturduk. Ekranın üst katmanı 3B ekran olarak kullanmak için özel yerleştirilmiş retro-yansıtıcılardan, alt katmanı ise 3B görüntüleme için konveks lens dizininden oluşmaktadır. İki katman arasına yerleştirilen polarize ara yüz sayesinde ekrana yansıtılan görüntü ve ekran üzerinden kaydedilen görüntü ayrıştırılabilmektedir ve böylelikle geliştirilen çok amaçlı entegre ekran aynı anda hem ekran hem görüntüleme sistemi olarak kullanılabilmektedir. Sistemin çalıştığı,“Telepresence”(karşılıklı kişilere aynı anda 3boyutlu görüntünün ve sesin aktarıldığı iletişim sistemi) uygulaması gerçekleştirilerek gösterildi. Telepresence uygulamasında bir kullanıcı (kullanıcı A) geliştirdiğimiz çok amaçlı entegre ekranı kullanırken diğer bir kullanıcı (kullanıcı B) sanal gerçeklik başlığını kullanarak birbiriyle iletişime geçti. Böylelikle kullanıcı B, kullanıcı A'yı istediği bir açıdan 3 boyutlu olarak görebilmekte ve iletişime geçebilmektedir. Geliştirilen entegre ekranın, görüntüleme ve ekran karakteristikleri incelendi. Mobil telepresence uygulamaları arttırılmış gerçeklik (AR) ve sanal gerçeklik (VR) başlıkları ile mümkün değil iken bizim geliştirdiğimiz çok amaçlı entegre ekran sayesinde mümkün olmaktadır ve geliştirilen ekran telepresence ile iletişimin geleceği olmaya en önemli adaydır.
Özet (Çeviri)
This dissertation presents new display and imaging techniques where a number of micro-structured passive optical surfaces are developed and then combined with mobile projectors and cameras to achieve novel display and imaging modalities. Three types of novel optical surfaces are developed: (i) a transparent AR screen, which is a transparent retroreflective surface developed for augmented reality and automotive head-up display (HUD) applications, (ii) a 3D imaging surface, which is a handheld lens array sheet used for mobile light-field capture when combined with a regular camera, and (iii) an integrated dual-purpose screen, which combines the first two surfaces to achieve 3D display and 3D imaging on the same screen simultaneously. The transparent AR screen provides high optical gain within a small viewing window and enables the use of low lumen output head-mounted laser projectors to produce a bright content. Higher see-through performance is achieved through partial covering of a clear substrate with retroreflective microspheres. The screen transparency and optical gain is varied by changing the retroreflective fill factor, and three versions of the screen providing 50%, 75% and 90% transparency are developed. The transparent retroreflective AR screen was first used with a pair of head-mounted laser projectors (pico-projectors) for 3D vision. We achieved good stereoscopic vision providing down-to 1% crosstalk between two eyes and up-to 1,000 cd/m2 brightness using 30 lumen projectors. For automotive 3D head-up-display applications, we performed a user study to test the simulated collimation and provide the virtual image perception at different screen distances. The user study focused on the visual acuity response under the see-through condition and the simulated collimation condition that shows the relation of visual acuity with the distance of HUD screen and amount of accommodation-convergence (AC) conflict. We showed that the visual acuity is slightly dropped (from 20/20 to 20/25) when the HUD screen is placed between the driver/user and a real-scene. For the simulated collimation condition, an inverse relationship between the amount of AC conflict and the visual acuity is observed, which shows the minimum effect on the visual acuity and viewing comfort when AC conflict is less than 0.85 diopters or when the screen distance is >100 cm. The 3D imaging surface introduces a light-field imaging platform that can turn a regular camera into a multi-perspective 3D capture system. The 3D imaging surface contains an array of lenses and tracking markers to capture the 3D perspective views of a scene. The camera image provides an array of sub-images; each corresponding to a different perspective view. The location of the mobile surface is determined by tracking the distinct markers attached to the corners of the surface. A computational ray tracing tool is developed using OpenGL to perform the real-time light-field reconstruction and demonstrate digital image refocusing and partial occlusion capture. Lastly, a novel integrated dual-purpose screen is introduced for simultaneous display and imaging. The screen mainly consists of patterned retroreflective microspheres as the top layer and an array of curved mirrors as the bottom layer for 3D display and multi-perspective imaging, respectively. The simultaneous display and imaging are performed by using an intermediate polarization selective layer and performing polarization multiplexing to separate the projected and captured light. A telepresence demonstrator is built where user-1 uses a pair of head-mounted projectors and a camera while across the integrated dual-purpose screen and user-2 uses a VR headset, where user-2 can watch user-1 in real-time and from arbitrary perspectives. The display and imaging characteristics of the developed prototype are also evaluated. While mobile 3D telepresence is not possible using existing head-mounted AR and VR displays, our proposed solution offers a unique alternative and can be the future of mobile telepresence.
Benzer Tezler
- Virtual reality applications in urban design: Unveiling potentials and future directions
Kentsel tasarımda sanal gerçeklik uygulamaları: Potansiyellerin ve gelecek yönelimlerin belirlenmesi
IŞIK SEVİNÇ KESKİN MERCAN
Yüksek Lisans
İngilizce
2024
Mimarlıkİstanbul Teknik ÜniversitesiKentsel Tasarım Ana Bilim Dalı
DOÇ. DR. GÜLDEN DEMET ORUÇ ERTEKİN
- Foveated near-eye display using computational holography
Holografik ve foveated göze yakın ekran
ALİ CEM
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ÜREY
- Altyapı bilgi sistemlerinde artırılmış gerçeklik ve coğrafi bilgi teknolojileri entegrasyonu
Integration of augmented reality and geospatial technology in natural gas infrastructure management
FULYA AKAN
Yüksek Lisans
Türkçe
2019
Bilim ve TeknolojiEskişehir Teknik ÜniversitesiUzaktan Algılama ve Coğrafi Bilgi Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAKAN UYGUÇGİL
- Full-color holographic near-eye displays
Göze yakın yerleştirilen tam renkli holografik ekranlar
SEYEDMAHDI KAZEMPOURRADI
Doktora
İngilizce
2021
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ÜREY
- Next generation 3D display applications using laser scanning pico projectors
Lazer taramalı pico projektör kullanan gelecek nesil 3B ekran uygulamaları
KAAN AKŞİT
Doktora
İngilizce
2014
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ÜREY