Geri Dön

Virtual and augmented reality based interfaces for choreography generation

Koregrafi üretimi için sanal ve artırılmış gerçeklik tabanlı arayüzler

PDF İndir

  1. Tez No: 467085
  2. Yazar: TAFADZWA JOSEPH DUBE
  3. Danışmanlar: YRD. DOÇ. DR. GÖKHAN İNCE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 105

Özet

Koreografi, hareketi tanımlayan önemli bir süreçtir. Günümüzde dijital uygulamalar koreografların koregrafi üretmelerine yardımcı olmak için büyük bir yol katediyorlar. Bu nedenle araştırmacılar 1960'lı yılların sonlarından itibaren bilgisayar kullanmaya başladılar. İlk günlerde, koreografi uygulamaları, karakterleri temsil etmek için 2D çubuk figürler kullandı. Fakat daha sonraları bilgisayarların da işlem yapma gücü ve grafiklerin geliştirilmesinden dolayı 3D (3 boyutlu) gerçekçi modeller standart haline geldi. Ayrıca teknolojideki bu ilerlemeler, ortaya çıkan bilgisayar sistemleri ile etkileşime girmek için farklı teknikler geliştirdi. Bu etkileşim modelleri insanların doğal olarak etkileşim tarzı olan doğal kullanıcı arayüzleri'nin (NUI'ler) ortaya çıkması ile noktalandı. Bu arayüzler, klavye ve fare gibi geleneksel girdi yöntemlerine olan güveni ortadan kaldırıp, jestlere, dokunmaya ve sese odaklanır. Dahası, Artırılmış Gerçeklik (AG) ve Sanal Gerçeklik (SG) gibi teknolojiler arayüz geliştirmeye odaklandılar. AG, arayüz tasarımı için ilginç bir yol sunar. Kullanıcıların hem gerçek dünya hem de sanal dünyayla aynı anda etkileşime girmelerini sağlar. Oysa SG kullanıcıyı sentetik bir dünyaya sürükler. Bu nedenle, bu teknolojileri koreografi sürecinde benimsemek önemlidir. Bu çalışmada, bir koreografi üreteci için farklı etkileşim tekniklerinin kullanıcı deneyimi üzerindeki etkilerini araştırdık. Koreografide, dokunmatik ekran ve jestler gibi doğrudan girdi yöntemleri olan ve fare ve klavye gibi dolaylı yöntemler gibi farklı interaktif teknikleri değerlendirdik. Ayrıca koreografi araçları için sanal gerçekliği ve artırılmış gerçeği arayüz olarak değerlendirdik. Araştırmamız, aynı uygulamanın farklı etkileşim yöntemlerinin kullanıcı deneyimini nasıl etkilediğini araştırmaya katkıda bulunmaktadır. Ayrıca araştırmamız eğitim uygulamalarında SG ve AG değerlendirilmesini de kapsamaktadır. SG ve AG ile ilgili daha önceki araştırmalar, alandan alana farklılık gösteren sonuçlar ortaya koymuştur. Bu nedenle bu iki teknolojinin koreografi araçları üzerinde değerlendirilmesi gereklidir. Böylece koreografideki yatırımcılar hangi arayüze yatırım yapacaklarını bilirler. Bu nedenle AG temelli bir koreografi üreteci ve SG tabanlı bir koreografi üreteci geliştirdik ve koreografi üretimi için bu üreteçleri bir Kişisel Bilgisayar (PC) tabanlı koreografi üreteci ve dokunmatik mobil uygulama ile karşılaştırdık. PC tabanlı üreteç, klavye ve fare etkileşim teknikleri olarak kullanırken, mobil uygulama dokunmatik ekranı kullanıyor. Artırılmış gerçeklik arabirimi dokunmatik ekran ve hareketleri kullanırken, sanal gerçeklik arabirimi dokunmatik yüzeyi ve hareketleri kullanır. Bu arayüzler, koreografların aynı görevleri yapmalarına izin verir. Koreografi üretecini kullanarak kullanıcılar sahneye aktörler ve diğer sahne parçalarını ekleyebilirler. Uygulamalar koreografın gerçek dünyadaki gibi aktörlerden sorumlu olmasını sağlar, böylece 3 boyutlu (3D) aktörlerin hareketlerini tanımlayabilirler. Koreograf çeşitli karakterler listesinden ekleyebilir. Sahne dekorasyonu sahneyi dekore etmek için ya da içeriğin önemi belirtmek için zorunludur. Arayüzlerin koreografın karakter hızını kontrol etmesini sağlayan etkileşimli öğeleri vardır. PC tabanlı arabirim, mobil uygulama arabirimi ve sanal gerçeklik tabanlı arabirimler kullanıcıya aynı grafikleri sunar. Temel olarak bu üç arabirim de etkileşim yönteminde farklılıklar gösterir. Bununla birlikte, SG arayüzü aynı zamanda kullanıcıya daldırma efekti verir; böylece bir kullanıcı koreografi dünyasına dalmış olur ve sanal ortamın içindeymiş gibi hisseder. AG, kullanıcıların gerçek dünya ve sanal nesnelerle aynı anda etkileşimde olmalarını sağladığından, AG arabirimi grafikleri diğer arabirimlere göre önemli ölçüde farklılık gösterir, ancak aynı işlevselliği sunar. AG, kullanıcılara bilgisayarla üretilen gerçek dünya nesnelerini kullanma gücünü verir. Bu araştırmada, kullanıcıların performansını ve kullanıcı deneyimini, görev tamamlama süreleri açısından, ayrıca zihinsel stres, fiziksel stres, zevk ve hayal kırıklığı gibi öznel ölçütler açısından arayüzler üzerinde değerlendirdik. Fiziksel stres puanı, bir görevi yerine getirmek için gerekli olan fiziksel gereksinimlerin bir göstergesini verirken, zihinsel stres puanı bize görevleri yerine getirmek için gerekli bilişsel yükü verir. Bu kriterler, kullanılabilirliğin dört faktörünü araştırmamıza yardımcı olur: memnuniyet, etkililik, öğrenmenin kolaylığı ve verimlilik. Dört arabirimi değerlendirmek için toplam 20 katılımcı kullandık. Nesnel sonuçlar elde etmek için görevin tamamlanma zamanı kullanıldı ayrıca öznel sonuçlar elde etmek için ise test sonrası bir anket kullanıldı. Ayrıca kullanılan düşünce sesli tekniği, arayüzü kullanırken kullanıcının psikolojik deneyimini anlamaya yardımcı oldu. Zihinsel stres, fiziksel stres sonuçları ile birlikte zaman sonuçları, arabirimlerin verimliliğini ve etkinliğini tam olarak açıklamakta kullanıldı. SG tabanlı arayüz, AG tabanlı arayüz ve dokunmaya dayalı mobil uygulama Android platformunda tanımlandı. Arabirimleri geliştirmek için Unity3D kullandık. Unity3D, zengin 3D ortamlar geliştirmek için etkili bir araçtır. SG tabanlı arayüz, Samsung Oculus VR başlıkla test edildi. Gear VR başlık seti, diğer SG başlık ile karşılaştırıldığında kullanıcı etkileşimleri için daha kolay olan bir dokunmatik yüzey sunuyor. Ayrıca SG başlık seti kullanıcı için daha fazla etkileşim seçeneği sunuyor. PC tabanlı arabirim hem Windows platformunda, hem Unity player eklentisine sahip tarayıcılarda erişilebilen bir web uygulaması olarak bağımsız bir uygulama olarak dağıtıldı. Katılımcılara arabirimler üzerinde tamamlanması gereken dört görev verildi. Öncelikle, kullanıcılar sahnenin solunda ve sağında iki dansçı eklediler. Ondan sonra sahnenin soluna ve sağına sahne malzemesi eklediler. Eklenen sahne malzemeleri ise bir ağaç ve bir kutu oldu. Dansçılar ve sahne malzemeleri eklerdikten sonra kullanıcılar dansçıların izleyeceği yolu tanımladılar. Sonunda ise, koreografiyi oynatmadılar. Koreografiyi oynarken kullanıcıların sistemi daha da keşfetmeleri teşvik edildi. Bu yakınlaştırma düzeylerini değiştirmek için arayüzü yakınlaştırma ve uzaklaştırma da içeriyor. Ayrıca, farklı görüş açılarında değişiklik yapılmasını da içeriyor. Görev tamamlama zaman skorları ilk üç görev için kaydedildi. Ancak, dördüncü görev serbest etkileşim zamanı olarak kullanıldı ve kayıt edilmedi. Bu, katılımcıları motive etti ve katılımcılara sistemin daha da keşfedilmesini sağladı ve böylece kapsamlı sonuçlar elde ettik. Sonuçlar, dokunmaya dayalı yaklaşımların daha hızlı görev tamamlama oranları ürettiğini gösteriyor. Bu yaklaşım, özellikle parmak kullanarak yolu tanımlarken kullanma doğallığına bağlandı. Sonuçlar, NUI'lerin kullanıcı deneyimini arttırmanın etkili bir yolu olduğunu da gösterdi. Bu arayüz Kullanıcılara sezgisel yöntemler kullanarak görevleri tamamlamanın daha kolay ve hızlı bir yolunu sundu. Bu nedenle AG temelli arayüz, PC tabanlı arayüze, dokunmaya dayalı mobil uygulama arayüzüne ve SG tabanlı arayüze kıyasla en iyi görev tamamlama oranlarını verdi. Ayrıca, kullanıcılar, etkileşimde olduklarını anlamak için sezgilerini kullanabildikleri için, NUI yaklaşımı ön eğitim gerektirmez. Yakınlaştırma veya uzaklaştırma için AG arayüzü, sahneden daha yakın veya uzaklaşarak gerçekleştirilir. Bu, insanların gerçek hayatta yaptığı gibi nesneleri daha yakından veya daha fazla görüntüleme biçimine benzer. Bu, kullanıcılara kullanıcı deneyimini geliştiren etkileyici bir etki sağlıyor. Yakınlaştırma veya uzaklaştırma ve görüntüleme açısını değiştirme özelliği kullanıcıya diğer üç arayüzle karşılaştırıldığında daha hızlı görev tamamlama oranları verdi. Bulgularımız ayrıca işaretçiye dayalı yaklaşımların görevlere bağlı olarak çok etkili olabileceğini gösterdi. Özellikle etkileşim için çok küçük bir temas alanı gerektiren görevlerde, işaretçiyi hassas bir şekilde işaret ettiği için işaretçi iyi bir seçenektir. Küçük temas yüzeyi alanı, başparmak gibi daha geniş yüzey alanlarına kıyasla, farklı kullanıcı arabirimi öğeleri ile etkileşimde bulunulduğunda kullanıcılara daha fazla denetim imkanı verir. Böylece kullanıcılar, dokunmatik mobil uygulama arayüzüne kıyasla bir fare kullanan PC tabanlı arabirimdeki izleme konumlarını değiştirerek daha etkili olmuşlardır. Sonuçlar aynı zamanda eğitim ve tasarım uygulamalarının geliştirilmesinde AG'nin etkililiğini doğrulamaktadır. Koreografi sürecinde AG, ek olarak bir avantaja sahiptir; çünkü hem bilgisayar tarafından oluşturulan görüntüler hem de fiziksel nesneler kavramları göstermek için kullanılabilir. Dolayısıyla, AG, koreografın kendine özgü bir görev için kendi sahnesini tanımlayacak esnekliğini verir. Ayrıca, AG'nın verdiği merak nedeniyle kullanıcı heyecanlı ve memnun hıssetti. Mobil AG'nin en büyük dezavantajı, kullanıcı arabirimle etkileşime girdiğinde el hareketlerinden kaynaklanan fiziksel stresdir. Kullanıcı, yoruluyor çunku arabirimle etkileşim kurmak için ellerini sürekli kullanır. Bu, kullanıcı üzerinde yüksek fiziksel stres puanı elde edilmesine neden oldu. Kullanıcının elleri istikrarlı bir konumda olduğu için kullanıcı arabirimi ile etkileşime irdiğinde, PC tabanlı arabirim, yüksek fiziksel stres seviyelerini ortadan kaldırır. Fiziksel stresin yanı sıra, AG'in diğer tarafı da, kullanıcı görevleri gerçekleştirirken mobil cihaz eğrildiğinde ortaya çıkan hatalardan kaynaklanmaktadır. Bu, doğal el titremesinden kaynaklanmaktadır. Mobil cihazın istikrarsızlığının etkisi mobil AG'nin etkinliğini büyük ölçüde etkiler. Mobil cihazın devirme etkisi kullanıcıların kararlı bir ortam gerektiren görevleri yerine getirmesini zorlaştırdıö örneğin sahneye dans eklerken. Ancak, bu hatalar sırasıyla mobil uygulama arabirimi, PC tabanlı arabirim ve SG tabanlı arabirimde mevcut değildir. Sonuçlar aynı zamanda birçok görsel öğeyle olan arabirimlerin kullanıcılara daha fazla bilişsel yük getirdiğini gösterdi. Dolayısıyla AG arabirimleri, kullanıcılara en az zihinsel stres seviyeleri sundu, çünkü görsel öğelerin sayısı düşüktür. Zihinsel stres getiren başka bir etki, giriş aygıtlarının daha yavaş tepki gösterdiğidir. Sanal gerçeklik kullanıcılara zevk verirken, yüksek görev tamamlama oranları ve yüksek fiziksel stres puanları koreografide etkinliğini olumsuz yönde etkiler. Bu, genel kullanışlılık puanlarını olumsuz etkilemektedir. Bu nedenle, kullanıcıların çoğu AG arabirimini diğer üç arabirimle karşılaştırıldığında tercih ettiler. Etkileşim için sanal düğmeler kullanan bir genişletilmiş gerçeklik arabirimi önererek tezi sonuçlandırıyoruz. Bu sayede doğal kullanıcı arayüzü yaklaşımını tamamen benimseyen bir sistem elde edebiliriz. Koreografların esnek bir şekilde olduğu gibi AG'ye yatırım yapmalarını ve fikirleri vurgulamak için bilgisayar tarafından oluşturulan görüntüleri ve fiziksel nesneleri kullanmalarını sağlamalarını şiddetle öneriyoruz.

Özet (Çeviri)

Choreography is a vital creative process of defining movement. Digital applications go a long way in helping choreographers achieve their tasks in choreography generation. Thus, since the late 1960's researchers have tried to use the computer in the choreographing process. In the early days choreographing applications made use of 2D stick figures to represent characters. However, as computer processing power and graphics improved 3D realistic models became the norm. These advances in technology have also seen different techniques to interact with computing systems emerging, this has been punctuated by the advent of Natural User Interfaces (NUIs), whose interaction models the way humans naturally interact. NUIs remove the reliance on traditional input methods like keyboards and mouse, but rather focuses on gestures, touch and voice. Furthermore, technologies like Augmented Reality (AR) and Virtual Reality (VR) have transformed interface development. AR presents an interesting way to interface design. It allows users to interact with both the real world and the virtual world simultaneously. Whereas, VR immerses the user into a synthetic world. Thus, it is important to embrace these technologies in the choreographing process. In this study, we investigate the effects of different interaction techniques on user experience for a choreography generator. We evaluated different interactive techniques, which are the direct input methods like touch screen and gestures, and indirect methods like the mouse and keyboard. We also evaluated VR and AR as interfaces for choreographing tools. Our research contributes to the study of how different interaction methods of the same application affect user experience. It also extends the evaluation of VR and AR in training applications. Previous research on VR and AR has shown varying results which differ from domain to domain. Therefore, it is imperative to evaluate these two technologies on choreography tools so that stakeholders in choreography know which interface to invest on. For this reason, we develop an AR based choreography generator and a VR-based choreography generator and compare with a Personal Computer (PC) based choreography generator and a touch-based mobile application for choreography generation. The PC based generator uses the keyboard and mouse as the interaction technique, whilst the mobile application utilizes the touch screen. The AR interface utilizes the touch screen and gestures, whereas the VR interface utilizes the touchpad and gestures. These interfaces allow choreographers to complete the same tasks on them. Using the choreography generator, users can add actors and other props into the scene. The applications allow the choreographer to be in charge of the actors just like in the real world, he/she can define movements of the 3D actors. The choreographer can add from a diverse list of characters. The props are essential to decorate the scene or to help emphasize concepts. The interfaces also have interactive items that allow the choreographer to control the speed of the characters. The PC based interface, the touch-based mobile application interface and the virtual reality based interfaces present the same graphics to the user. These three mainly differ in the interaction method. However, the VR interface also gives the user the immersion effect, whereby a user is immersed into the choreographing world and feels like he/she is inside the virtual environment. Since AR allows users to interact with the real world and virtual objects simultaneously, the AR interface graphics differs significantly from the other interfaces, however it offers the same functionality. AR gives the users the power to use real world objects with computer generated imagery. It presents a flexible way which is important especially with interfaces for training and teaching applications. In this research, we evaluate user performance and user experience on the interfaces in terms of task completion times, as well as subjective criteria, such as mental stress, physical stress, pleasure and frustration experienced. The physical stress scores give us an indication of the physical requirements needed to perform a task, whilst mental stress gives us the cognitive load needed to perform the tasks. These criteria help us investigate the four factors of usability: satisfaction, effectiveness, ease of learning and efficiency. We used usability testing methods to evaluate the four interfaces using a total of 20 test subjects. To obtain objective results we recorded the task completion times, whereas to obtain subjective results a post-test questionnaire was used. Furthermore, the think-aloud technique assisted us to understand the user's psychological experience whilst using the interface. The combination of time it takes to complete tasks, mental load and physical load gives a fair understanding of the efficiency and effectiveness of the interfaces. The experiments were conducted in a controlled environment that was the same for all users. Furthermore, the users used the interfaces randomly to avoid task adaptation. Participants were given four tasks to complete on the interfaces. Firstly, they had to add two dancers to the left and right of the scene. After that they had to add props to the scene. After adding the dancers and props users had to define the path for the dancers to follow. Finally, they had to play the defined choreography. Whilst playing the choreography users were encouraged to explore the system further. This included changing zooming levels and viewing angles. The results show that touch-based approaches produce faster task completion rates. This was attributed to the naturality of using the approach, especially when defining the path using the finger. The results also demonstrated that NUIs are an effective way to enhance user experience. They give users an easier and faster way to complete tasks using intuitive methods. Furthermore, this approach does not require pre-training as users can use their intuition to understand how to interact. The AR interface's ability to zoom in or out and change viewing angles by only moving the mobile device around the marker, gave users a natural approach of performing the zooming task, which is analogous to moving near or further from an object in real life. This gives users a compelling effect which enhances user experience. We also noted that pointer based approaches can be very effective depending on the tasks. Especially with tasks that require a small area of contact to interact the pointer proves to be a good option as it provides precise pointing. The results also verify the effectiveness of AR in developing training and design applications. In the choreographing process AR has an additional advantage as both computer generated imagery and physical objects can be used to emphasize concepts. Therefore, AR gives the choreographer flexibility allowing him/her to define his/her own stage in a way that is necessary for a particular task. Furthermore, the results showed that AR gives users excitement and pleasure which comes from the curiosity it creates. The major downside of mobile AR is the physical stress it exerts on users, which is due to hand movements as the user interacts with the interface. Another downside of AR is due to the errors that arise as the mobile device tilts whilst the user is performing the tasks. This is due to the natural hand tremor. Although VR gives pleasure to users, its high tasks completion rates, and high physical stress scores negatively affect its efficiency and effectiveness in choreography. This adversely impacts its overall usability scores. Therefore, most of the users preferred the AR interface as compared to the three other interfaces. We conclude by proposing an AR interface that utilizes virtual buttons and voice commands to interact. In this way, we can achieve a system that completely embraces the natural user interface approach. We strongly suggest that choreographers should invest in AR, as it is flexible and allows them to use both computer generated imagery and physical objects to illustrate concepts.

Benzer Tezler

  1. Tez No

    721371

    Üretimde kullanılan operatör destek odaklı artırılmış gerçeklik teknolojilerinin kullanılabilirlik kavramı kapsamında değerlendirilmesi

    Evaluation of operator support-based augmented reality technologies used in production within the concept of usability

    OSMAN ER

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. ALP ÜSTÜNDAĞ

  2. Tez No

    335676

    Sibertektonik mekan

    Cybertectonic space

    SERHAT KUT

    Doktora

    Türkçe

    Türkçe

    2013

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. SEMRA AYDINLI

    PROF. DR. ARZU ERDEM

  3. Tez No

    350616

    Representation of urban image in the information age: A case study of Galata

    Bilgi çağında kentsel imgenin temsili: Galata üzerine bir çalışma

    İLGİ HACIHASANOĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. SİNAN MERT ŞENER

  4. Tez No

    558701

    Inphimo: An augmented reality-based interface proposal for design process

    Inphimo: Tasarım sürecinde kullanılabilecek artırılmış gerçeklik tabanlı bir arayüz önerisi

    FEYZA NUR KOÇER ÖZGÜN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Mimarlıkİstanbul Teknik Üniversitesi

    Enformatik Ana Bilim Dalı

    DOÇ. DR. SEMA ALAÇAM

  5. Tez No

    541836

    VRiC: Mimarlıkta yapı bilgisi öğreniminde kullanılabilecek bir sanal ortam önerisi

    VRiC (virtual reality in construction): Proposal for a virtual reality based learning environment for architectural construction systems

    VARLIK YÜCEL

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SEMA ALAÇAM

Geri Dön