Narrative contribution of immersive audio sound design in audio-visual works
Görsel işitsel çalışmalarda uzamsal ses tasarımının anlatıya katkıları
- Tez No: 733200
- Danışmanlar: PROF. DR. CAN KARADOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Müzik, İletişim Bilimleri, Music, Communication Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Müzik Ana Bilim Dalı
- Bilim Dalı: Müzik Bilim Dalı
- Sayfa Sayısı: 101
Özet
Film, televizyon programı, belgesel, animasyon, canlı veya kaydedilmiş performans sanatları, soyut sanatsal temsiller gibi örneklendirilebilecek görsel-işitsel eserler, sanatsal ifade ve iletişim konusunda sıklıkla ses öğelerinden faydalanırlar. Bu durumun, insan duyularının gerçekliği anlamlandırmak için tandem çalışmasının, sanattaki bir yansıması olduğu söylenebilir. İnsanların duyularını kullanarak dünyayı anlamaya yönelik içgüdüsel yaklaşımı aynı zamanda, olmayan bir dünyayı yapılandırmada, bir sahne tanımlamada, algılananları geliştirme ve dönüştürmede ve genel olarak bir hikayenin anlatımını ilerletip zenginleştirmede önemli rol üstlenir ve tüm bu süreçlerde ses tasarımları son derece büyük öneme sahiptir. Teknolojinin ve bilgi birikiminin ilerlemesi ile bu durum zaman geçtikçe daha da belirgin hale gelmiştir. Görsel-işitsel çalışmaların işitsel kısmındaki en belirgin gelişim örneklerinden biri,“immersive audio”adı verilen bir yaklaşımla karşımıza çıkmıştır. Bu terim, uzamsal bileşenleri olan herhangi bir ses sahnesi reprodüksiyonunu kapsayan bir genel tabirdir. Bu, izleyicinin sanatsal sunudan aldığı keyfi arttırabilecek daha gelişmiş bir deneyime doğru atılmış devrim niteliğinde bir adım olarak yorumlanabilir. Ek olarak, sanatsal anlatılarda aynı olguyu ortaya koymanın çok sayıda yolu olduğu düşünüldüğünde, yaratıcı palete eklenmiş yeni bir araç olarak da algılanmalıdır. Müzik, diyalog, ses efektleri ve yalnızca görsel sununun olduğu konumdan değil, izleyicinin işitsel algı küresinin her yerinden gelebilen çeşitli ses olayları, endüstrinin içinde çalışılabilecek deneysel ve yaratıcı görsel-işitsel işleri arttırdı. Bu yaklaşımın icadını takip eden yıllarda, bir prodüksiyonun hem kayıt, hem düzenleme hem de oynatma aşamalarında birçok standardın ortaya çıktığı ve sonra yerini diğerlerine bıraktığı görülmüştür. Elbette bu kadar hızlı gelişen ve değişime açık bir yaklaşımın avantajları ve dezavantajları vardır. Standardize etme girişimlerinin çoğu yıllar içerisinde ya değişmiştir ya da başka bir şeye dönüşmüştür veya hepten kullanımdan kalkmıştır. Bazıları ise baskın formatlar olarak öne çıkıp ve gelecek vaat eden potansiyel kullanım alanlarına sahip olduklarını göstermiştir. Bunlardan birisi de ambisonics teknolojisidir. Ambisonics, 1970'lerde Michael Gerzon tarafından bir 3 boyutlu ses kaydetme ve çalma tekniği olarak ortaya atıldı. Bu tekniğin küresel ses ortamları hazırlamaya yakınsaması ve bunu yaparken kullandığı teknolojik altyapının stereo mid-side gibi tanıdık bir noktadan çıkış alması arkasındaki çalışma mekanizmasını hem daha anlaşılır hem de kullanımı kolay hale getirdi. Dinleme ortamına yapılan dijital bilgi beslemesi, hoparlör bazlı değil obje bazlıdır. Bunun anlamı, herhangi bir hoparlörden gelecek olan sesin kendi başına bir ses dosyası olarak taşımak yerine, sanal küresel bir ses ortamındaki ses objelerinin konum bilgisini ses dosyaları ile taşır ve herhangi bir hoparlör dizilimine göre çalabilir. Dolayısıyla hangi hoparlörün hangi anda nasıl bir ses çalıyor olacağı, stereo veya bazı surround sistemlerin aksine mix aşamasında değil, decoding adı verilen bir son aşamada yapılır. Bunun haricinde Ambisonics, obje bazlı ses ile çalışan rakiplerinin aksine gerçek veya sanal mikrofonlar ile ölçeklenilebilirliği çok yüksek bir teknolojidir. Dolby Atmos ve DTS:X gibi diğer obje bazlı uzamsal ses çalışma sistemlerinin aksine 4 kanal kayıttan başlayarak 64 kanala kadar çıkan çözünürlükte 360 derece ses ortamı yaratabilir. Bu farklı seviyelere order denilmektedir ve Ambisonics sisteminde sıfırıncı order 1 kanal, birinci order 4 kanal, ikinci order 9 kanal olacak şekilde yedinci order'a kadar çıkılabilmektedir. Her bir order için kanal sayısı, (order+1)² şeklinde bulunur. Diğer surround ve uzamsal ses formatlarına göre bir başka avantajıysa, çalışma mekanizması gereği küresel ses ortamındaki tüm ses temsillerine aynı önemin atfedilmesidir. Dijital ortamda bir sesin konumlandırılması esnasında ya da Ambisonic bir kaydın alındıktan sonra sayısal ses çalışma ortamına atılması sonrasında ön, üst, arka gibi kavramlar istenildiği gibi değiştirilebilir. Bunun haricinde rakiplerinin aksine ses kuşağı tüketimi için asimetrik ve/veya spesifik hoparlör dizilimlerine de ihtiyaç duymamaktadır. Küresel ses üretimi için minimum 6, daha yaygın kullanılan yarım küre ses üretimi içinse 5 hoparlör yeterli olacaktır. Bunun üzerinde sayılarda hoparlör kullanımı uzamsal algısal çözünürlüğü arttıracak ve konum tanılamasına yardım olacak olsa da bir şart değildir. Bu tez kapsamında, 3 boyutlu ses peyzajı oluşturma sürecinin teknik altyapısı için de kullanılan Ambisonics teknolojisi, önceden çoğunlukla akademik ortamlarda ve ses profesyonellerinin çalışmalarında kullanılan ambisonics teknolojisi, VR teknolojisinin ortaya çıkması ve Facebook ve YouTube firmalarının 360 derece videoları için bu teknolojiyi kullanmaya başlaması ile daha da popülerlik kazanmış ve kullanılma oranı artmıştır. Ambisonics, çalışma mekanizması gereği bazı önemli avantajlara sahiptir. Kullanım kolaylığı, erişilebilirlik, gelişime ve değişime açıklık olarak şu an için rakipsiz olduğu söylenebilir. Ayrıca ölçeklenebilirlik ve genişletilmiş/gelişmiş oynatma seçenekleri ile de benzersizdir. Bir görsel-işitsel çalışmanın ses kuşağı uzamsal ses tasarımları kullanılarak çalışıldığında, bahsedilen avantajlar sayesinde üretim süreci daha efektif; anlatılan hikaye ise daha ilginç ve özelleştirilebilir hale gelebilir. Anlatılmak istenen bir öykü akışı mevcut ise bu uzamsal ses ile desteklenebilir, bu öykünün konumlandırıldığı mekan ile ilgili bilgi verilmek isteniyorsa ya da seyirci sürecin içerisine daha fazla çekilmek isteniyorsa, yöntem olarak uzamsal ses uygulamaları kullanılabilir. Bu tezin deney kısmında uzamsal ses oluşturmak için Ambisonics teknolojisinin kullanılması ise Ambisonics'in bariz avantajları gereği tercih edilmiştir. Altyapısını oluşturan teknolojinin ücretsiz üretim araçları ile tasarlanılabilir ve açık kaynaklı olması bu avantajların en büyüğü olarak karşımıza çıkmaktadır. Bu hem üretim sürecinin hızlı ve efektif olmasını hem de yapılacak bir akademik akran ya da hakemlik denetiminin anlamlı bir sonuca daha hızlı gidebilmesini sağlamıştır. Benzer bir çalışmanın, hem akademik sınama anlamında hem de bir görsel-işitsel ürün ortaya konulması anlamında gerçekleştirilmesi için gerekli tüm bilgi birikimi ve yöntem analizi, tez içerisinde geçen anlatı kısımlarında ve literatür taramasında bahsedilmiştir. Ambisonics haricinde bir uzamsal ses tasarımı yöntemi izlenildiğinde bunların mümkün olamayacağı görülmüştür. Literatüre katkı anlamında görsel-işitsel çalışmalarda Ambisonics ile tasarlanmış ürünlerin hikaye anlatımına katkıları ve yaratıcı süreçle ilişkisi değerlendirildiğinde, bu tez çalışması, özellikle de günümüzde sanal gerçeklik teknolojileri kullanılarak yapılmış yaratıcı işlerin Ambisonics'i benimsemiş olduğu düşünüldüğünde, dikkat çekmeyi ve bilimsel tanılamalar yaparak bilgi havuzunu genişletmeyi amaçlamaktadır. Hikaye anlatıcılığında ses ve görüntünün senkronize kullanılmasının yanı sıra, bu duyuların birbiriyle çakışmayan kısımlarına ait akış parçaları da olacaktır. Yani hem sesi hem de görüntüsü olan hikaye olayları kesişim kümesinin dışında kalan durumlardan söz edilebilir. Görsel anlatının, görme duyusunun yapısı gereği küresel olmayışı, işitsel akışın içerisinde belli seviyenin altındaki seslerin duyulmaz olması (ya da bir prodüksiyon kararı olarak seslendirilmemesi), bu bahsedilen dış kümeyi basitçe tanımlayabilir. Bu tez sürecinde yapılan araştırmayı daha tanımlı ve kontrollü hale getirmek için, ses ile ilgili kısımda yoğunluklu olarak görsel kadrajın dışarısında kalan ve mekana dair bilgi veren seslere odaklanılmıştır. Bunu gerçekleştirmek için, katılımcılara izletilecek kısa video oluşturulurken, dar açılı kadrajlar kullanılmış ve bu kadrajlarda kendi sesini üreten çok fazla unsur olmamasına özen gösterilmiştir. Bu deney videosunda kullanılan görsel etmenlerin, hikayenin geçtiği mekanla ilgili mümkün olduğunca az bilgi vermesi amacıyla ayrıca alan derinliğinin dar tutulması da bir görsel kompozisyon kararı olarak benimsenmiştir. Bu kararın getirisi olarak kadrajda görünen iki kişiden birisi her zaman bulanık durumda tutulabilmiştir. Yükek çözünürlükte görüntü kaydının alınmış olması tekrar kadrajlamaya da müsaade etmiştir. Olması gerekenden fazla bilgi veren, örneğin istenmeden kadrajda görünen bir ağacın parkta çekim yapılmış olunduğunun belirteci olarak kullanılabileceği kadrajlarda, kırpma işlemi gerçekleştirilmiştir. Bu sayede görsel uyaran seviyesi istenen düzeyde tutulmuştur. Ses uzayı oluşturma süreci esnasında da benzer bir eleyiciliğin gerekli olduğu söylenilebilir. Bu kez, mekanda kaydedilebilecek ve kaydedilemeyecek sesler olarak bir ayrım yapılması gerekmiştir. Oluşturulacak ses peyzajının, uzamsal ses öğeleri kullanılarak görsel ile anlatılmayan tüm bilgiyi verebilmesi amaçlanmıştır. Nerede olunduğu, bulunulan mekanın şekil, boyut ve sınırlandırıcı özellikleri, tanımlanabilir seslerin konumları ve mesafeleri gibi bilgilerin tamamı, görsel uyaranlardan tam bağımsız şekilde ses peyzajı ile verilmiştir. Görsel ve işitsel akış ile ilgili bağımsız ögelerin olması, bunlarla ilgili sorular sorulmasını ve ayrı ayrı sınama yapılabilmesini sağlar. Bu sorulardan gelecek cevapların değerlendirilmesi ise hikayenin takip edilmesi sürecinde hangi duyunun daha aktif kullanılmış olduğu ile ilgili de analiz yapılmasına imkan tanır. Deney ve sonrasındaki görüşmeler ile anket çalışması, İTÜ MİAM Ambisonic stüdyoda gerçekleştirilmiştir. Bu stüdyodaki dinleme ortamının yapısı çok hoparlörlü olduğundan, katılımcıların sadece ses ile yapılacak bir anlatı beklentisi içine girmeleri ve dikkatlerini bu duyuya kaydırmaları ihtimali değerlendirilmiştir. Deneyinin yapılacağı ortamdaki çevresel uyaranları azaltmak ve bu şekilde cevaplarda oluşabilecek sapmaları azaltmak için katılımcılardan ışıkları kapatılmış ortamda karşıya bakarak hareket etmeden sunulan kısa filmi tüketmeleri istenmiştir. Bunun yalnızca bir dinleme testi değil, görsel-işitsel bir çalışma olduğu ve normal bir filmi nasıl izliyorlarsa o şekilde izlemeleri gerekliliği ifade edilmiştir. Bu tezin temel amacı, ambisonics kullanılarak yapılmış görsel-işitsel bir çalışmada, uzamsal ses tasarımının hikaye anlatımına olası katkılarını araştırmaktır. Bu kapsamda yapılmış olan araştırmaya ait sonuçlar, hem bir düşünce deneyi yaklaşımı, hem de yüksek tekrarlanabilirliğe sahip bir bilimsel gözlem çalışması ile elde edilmiştir.
Özet (Çeviri)
Audio-visual works, whether it be a film, tv show, documentary, animation, live/recorded performing arts or an entirely abstract work of artistic representation; often relies heavily on sound. It can be argued that this is a reflection of how human senses work in tandem to make sense of reality. This reliance on observation and comprehension with ears, puts an emphasis on sound design to take charge in structuring a world, describing a scene, enhancing what's seen and collectively furthering the storytelling. With the advancement of technology and knowhow, this effect has been more prominent as time passed. One of the most apparent re-imaginings of the aural part of audio-visual mediums came with an approach called immersive audio. This is somewhat of an umbrella term that encompasses any form of soundstage reproduction that has spatial components to it. This was a revolutionary step towards a more enhanced experience for the viewer to enjoy. It also opened many paths towards creativity, considering there are a multitude of ways to achieve a given thing. Music, dialogue, sound effects and other miscellaneous audio events coming from not only the screen (or in a stereoscopic array very close to the screen) but possibly all around the audience's aural perception sphere, stimulated the industry towards experimentation and creativity. In the decades following the invention of this approach we saw many standards were being implemented both in recording, editing and playback phases of a production. As in all things, there are advantages and disadvantages to an approach that is developing so fast and is prone to change. Most attempts to standardize it has either changed and evolved into something else or became obsolete. And some have emerged as dominant as prominent forms and have promising potential future use cases. One of these come in the form of ambisonics. Of the many benefits of working with ambisonics, a couple stand out and in fact, are the reasoning behind this study being done with it. The ease of use, accessibility, future proofing aspects are industry leading to say the least. Also the scalability and expanded/enhanced playback options to it are arguably unmatched. In this thesis, main purpose is to explore the possible narrative contributions of an immersive sound design in an audio-visual work, made with ambisonics method. This is achieved through both a manner of thought experimentation and a scientific observation approach that is highly repeatable.
Benzer Tezler
- A spatial analysis of 'The Hobbit' within the framework of fantastic literature and cinema
'Hobbit'in fantastik edebiyat ve sinema çerçevesinde mekânsal bir analizi
YASEMİN MISIRLI
Yüksek Lisans
İngilizce
2024
MimarlıkYaşar Üniversitesiİç Mimarlık ve Çevre Tasarımı Ana Bilim Dalı
PROF. DR. ZEYNEP TUNA ULTAV
- The use of virtual reality and artificial intelligence in cinema
Sinemada sanal gerçeklik ve yapay zeka kullanımı
HANAN ZARRAQ
Yüksek Lisans
İngilizce
2022
Sahne ve Görüntü SanatlarıBahçeşehir ÜniversitesiSinema Televizyon Ana Bilim Dalı
PROF. DR. KAYA ÖZKARACALAR
- Sabahattin Ali'nin hikâyelerinde atmosfer
Atmosphere in Sabahattin Ali's stories
REFİKA MERT
Yüksek Lisans
Türkçe
2024
Türk Dili ve Edebiyatıİstanbul ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. ALİ ŞÜKRÜ ÇORUK
- Siber uzay çağında mimari potansiyeller: Dijital oyunlar üzerinden bir takım güncelleştirmeler
Architectural potentials in the cyberspace era: Updates through digital games
YILMAZ BERKAY DEMİR
Yüksek Lisans
Türkçe
2023
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. NURBİN PAKER KAHVECİOĞLU
- Yüksek katlı binalar için iç çevre kalite etkileri dahil bir yaşam döngüsü değerlendirme çerçevesi
A life cycle assessment framework for high rise buildings including indoor environmental quality impacts
MAJID BAHRAMIAN
Doktora
Türkçe
2021
Çevre MühendisliğiYıldız Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. KAAN YETİLMEZSOY