Localisation in 3-dimensional music production: Pannerbank application as a solution for positioning of multiple sources and extended panning aesthetics
3 boyutlu müzik prodüksiyonunda lokalizasyon: Çoklu kaynakların pozisyonlanması ve ileri panlama estetiği için çözüm olarak Pannerbank uygulaması
- Tez No: 847073
- Danışmanlar: PROF. DR. CAN KARADOĞAN
- Tez Türü: Doktora
- Konular: Müzik, Music
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Müzik Ana Bilim Dalı
- Bilim Dalı: Müzik Bilim Dalı
- Sayfa Sayısı: 113
Özet
Tarih boyunca besteciler eserlerinde duyumsal estetiği değiştirerek anlatımı vurgulamak için enstrümanların yerleşimlerinden yararlanmışlardır. Buna orta çağ korolarının farklı yerleşimleri, klasik ve romantik dönem bestecilerinin enstrüman gruplarını farklı konumlandırılmaları, 20. yüzyıl bestecilerinin hoparlör konumlandırmaları gibi birçok örnek gösterilebilir. 20. yüzyılda gelişen müzik teknolojileri, teknik zorluklar nedeniyle bu duruma adapte olmakta zorlanmakla birlikte 1950'lerden itibaren çoklu hoparlör formatları çeşitli ana akım prodüksiyonlarda denenmiştir. İki farklı frekanstan radyo yayını ile 4 kanallı canlı yayınlar denenmiş, 4 kanallı manyetik bantlar ile dağıtımlar yapılmış, matrix sistemler ile sinemada çok kanallı sistemler kullanılmıştır. Ancak prodüksiyon ve bu prodüksiyonları oynatabilecek sistemlerin yüksek maliyetleri ve dağıtımın zorluğu gibi faktörler neticesinde, teknolojideki gelişmelere rağmen çok kanallı formatlar yaygınlaşamamıştır. Günümüzdeki teknolojik gelişmeler önceden yaşanan bu zorlukların aşılmasını sağlamıştır. Özellikle internet üzerinden yayın akışlarının kolaylaşması ve tek bir prodüksiyonun farklı sistemlerde çalışabilmesini sağlayan obje tabanlı formatların ortaya çıkması ile çok kanallı prodüksiyonlar düşük maliyetli ve kullanımı kolay hale gelmiştir. Son dönemde kulaklık teknolojilerinde yaşanan gelişmeler ile birlikte çok kanallı müzik formatlarının kulaklıklar ile oynatılması sağlanmış, bu sayede deneyimleyebilecek dinleyici sayısı hiç olmadığı kadar artmıştır. Bu artış beraberinde çok kanallı prodüksiyonların sayısında da önemli bir artışı beraberinde getirmiştir. Bu durum sadece 5.1 veya 7.1 gibi çevresel formatlar için değil, aynı zamanda 3 boyutlu formatlar için de geçerlidir. Ortaya çıkan ürünün bir müzik prodüksiyonu göz önüne alındığında, tek, iki ve üç boyutlu prodüksiyonlarda estetik farklar bulunmasına rağmen, dikkat edilmesi gereken temel miks teknikleri aynı kabul edilebilir. Örneğin, sahip olduğu boyut sayısı farketmeksizin tüm müzik mikslerinde seslerin birbirlerini maskelemesi dikkat edilmesi gereken bir konudur. Her prodüksiyonda bir önem sırası ve daha fazla duyulan ana müzikal unsurlar bulunmaktadır. Boyut sayısından bağımsız olarak her müzik prodüksiyonunda enstrümanlar teknik ya da estetik faktörler düşünülerek farklı pozisyonlara konumlandırılır. Bu ve benzeri diğer miks unsurları göz önüne alındığında estetik kararlar farklılaşsa da teknik açıdan yapılan işlemler ve göz önünde bulundurulması gereken olası problemler aynıdır. Herhangi bir formatta miks yaparken düşünülmesi gereken temel unsurlardan biri lokalizasyondur. Lokalizasyon kaynakların sabit bir şekilde kalacağı şekilde yapılabildiği gibi otomatize edilerek dinamik bir şekilde de yapılabilir. Boyut sayısı ile doğru olarak otomasyon sırasında kontrol edilmesi gereken parametrelerin sayısı da artmaktadır. Bu nedenle özellikle 3 boyutlu formatlar için yapılan prodüksiyonlar, eş zamanlı kontrol edilmesi gereken parametrelerin fazlalığı nedeniyle geleneksel çevresel sistemler için yapılan prodüksiyonlardan daha karmaşık olabilmektedir. Bu durum bütçe ve zamanın kısıtlı olduğu müzik endüstrisinde bir problem yaratabilmektedir. Aynı zamanda uzayan süreç, miks mühendisinin duyum yerine teknik sürece yoğunlaşmasına neden olabilmektedir. Tezin amacı, üç boyutlu miks yapılırken karşılaşılan bu problemler çözüm olarak“Pannerbank”isimli uygulamanın tasarlanmasıdır. Tasarım yapılırken, problemlerin çözümünün yanında, miks mühendisinin süreç boyunca odağını prodüksiyonda tutmasına yardımcı olmak hedeflenmiştir. Ayrıca dinleyici konumlandırma ve cep telefonu kontrolü gibi çeşitli ek özellikler ile yaratıcı miks süreçleri ve teknik çözümler sağlanmaya çalışılmıştır. Uygulamanın tasarımında MaxMSP yazılım dili kullanılmıştır. Uygulama kendi başına çalışabilecek şekilde tasarlanmış, bu sayede kurulumu ve kullanımı daha kolay hale getirilmiştir. Uygulama bir kontrol cihazıdır. Bu nedenle herhangi bir ses işlemesi yerine veri akışı ve işaret işleme yapmak üzere tasarlanmıştır. Miks için kullanılan sayısal ses işleme yazılımından gelen veriyi alıp işlenmesini sağlayarak tekrar yazılıma geri gönderilmesi temel çalışma prensibidir. Veri alışverişi için MIDI (Musical Instrument Digital Interface) ve OSC (Open Sound Control) protokolleri denenmiştir. Uygulamanın geliştirilmesi sırasında denemelerin yapıldığı müzik projelerinde farklı sayısal ses çalışma ortamları kullanılmıştır. İlk eser olan Nihal Saruhanlı'nın“Pieces and Parts, No.1”isimli eserinde miks için o esnada güncel sürüm olan Logic Pro 10.7 kullanılmıştır. Bu miks sırasında veri akışı için MIDI protokolü tercih edilmiş, miks bu şekilde tamamlanmıştır. Ancak Logic Pro'nun kullanılan sürümünde MIDI bilgilerinin PannerBank'e geri bildirimi sağlanamamış, miks sırasında uygulama tek yönlü çalışabilir halde kullanılmıştır. Bu nedenle ileriki aşamalarında OSC kullanılmış olmasına rağmen, ileriki sürümlerinde bir seçenek olarak MIDI'nin kullanılması planladığı için parametreler sabit tutulmuştur.“PannerBank”prototip olarak Dolby Atmos formatı ile uygun çalışacak şekilde tasarlanmıştır. Bunun temel nedeni İTÜ MİAM stüdyolarının Dolby onaylı bir Dolby Atmos stüdyosu olması ve örnek projelerin bu formata yönelik tasarlanması gerekliliği olmuştur. Buna karşın, uygulama ileriki aşamalarda kaynak bulunması durumunda diğer formatlara da uyarlanabilir. Tasarımı buna elverecek şekilde yapılmıştır. Deneme olarak kullanılan tüm projeler Logic Pro üzerinden yapılsa da uygulamanın son prototipi için sayısal ses çalışma ortamı olarak Reaper tercih edilmiştir. Modifikasyonunun ve“Lua”dili ile yeni özellikler eklenebilmesinin kolaylığı nedeniyle bu tercih yapılmıştır. Buna karşın ileriki versiyonlar diğer sayısal ses çalışma ortamlarını destekleyecek şekilde modifiye edilecektir. Ek olarak Reaper ile Dolby Atmos miksi için olması gereken sinyal ve iş akışı tezin kapsamına dahil edilmiştir.“Pieces and Parts, No.1”bir miks sırasında karşılaşılabilecek ve zamanın efektif kullanımını engelleyebilecek problemlerin karşılaşılması açısından tezde önemli bir noktadadır. Problemlerin ilki, 3 boyutlu uzayda serbestçe hareket etmesi gereken objelerin otomasyonunun zorluğudur. Klavye/fare, panlama düğmeleri ve joystickler gibi geleneksel kontrol cihazları tek kontrolcüde sadece iki eksende harekete imkan sağlamaktadır. Serbest hareket etmesi gereken kuşlar gibi objelerin lokalizasyon otomasyonunu yazmak tek seferde zorlayıcı olmaktır. Bir çözüm olarak ek bir kontrol cihazı olarak cep telefonu kullanılmıştır. Arduino ya da Rasberry gibi farklı geliştirici cihazları ile yeni kontrol cihazları yapılması olası olsa da hem kullanım kolaylığı hem de son kullanıcı için ek bir maliyet gerektirmeyecek olması sebebiyle cep telefonu tercih edilmiştir. Prototip versiyonda telefondaki konum verilerinin MaxMSP içerisine aktarımı için, bir geliştirici yazılımı olan Zig Sim Pro kullanılmıştır. Telefon olarak da Apple tarafında uygulama geliştiricileri için tasarlanan ARKit özelliğini kullanabilmek adına iPhone kullanılmıştır. Uygulamalar sayesinde telefon hareket ettirildiğinde telefonun içerisinde hesaplanan konum bilgileri OSC mesajı olarak UDP bağlantısı ile telefona aktarılmış, verilerin doğru noktalara yönlendirilmesi ile telefonun hareketine göre seçili cihazların pozisyon kontrolleri gerçekleştirilmiştir. Örnek müzik projesinde en başta duyulan kuş seslerinin lokalizasyon otomasyonu için bu özellik kullanılmıştır. Bir diğer problem, üç boyut için yapılan mikslerde ses kaynaklarının gözlemlenmesindeki problemdir. Günümüzdeki sayısal ses işleme programlarında pozisyonlar sadece yan yana duran kanallardaki küçük ekranlarda gözlemlenebilir. Dolby Atmos formatında ise sadece“object”olarak seçilen kaynaklar gözlemlenebilir haldedir. Bu durum az kanallı miks süreçlerinde büyük bir problem olmasa da çok kanallı ve lokalizasyon otomasyonu daha fazla olan müzikler için problem olabilmektedir. Uygulamanın tasarımı sırasında kullanıldığı ikinci çalışma“HA:AR”tarafından geliştirilmiş çok yönlü bir sanat projesi olan“MindFlow”yerleştirmesinin müzikal uyarlamasıdır. Eser bir sergi salonunda ekran ve hoparlörlerin, insanların arasında gezinebilecekleri şekilde konumlandırıldığı bir yerleştirmedir. Müzik prodüksiyondaki amaç ise bunun mümkün olduğunca sessel dünyadaki tasvirinin yapılmasıdır. Sabit seslerin arasında dolaşılması etkisini yaratarak kafanın hareketlerinin takibi ile bu etkinin arttırılması, bunun Dolby Atmos gibi standart bir formatta yapılması sanatçıların temel hedefidir. Bunu sağlayabilmek için MaxMSP içerisinde konumların gözlenmesi ve otomasyonu için kulanılan“nodes”objesi, aynı zamanda sabit objelerin içerisinde hareket edebilen bir dinleyici yaratmak için kullanılacak şekle çevrilmiş, bir ek özellik olarak eklenmiştir. Aynı zamanda tasarım sırasında mikste duyulan odanın büyüklüğünün değiştirilebilmesi gibi estetik ek özellikler ve otomasyon modları, süre, fader hareketleri gibi otomasyon yazımı sırasında gözlemlenmesi miks mühendisinin konsantrasyonunu arttıracak teknik ek özellikle de uygulamaya dahil edilmiştir. Tez, giriş bölümünün ardından var olan kontrolcülerin anlatılması ile devam etmektedir. Üçüncü bölümde örnek projelerde kullanılan DAW'larda karşılaşılan problemler ve“PannerBank”in bu problemlere getirdiği çözümler anlatılmıştır. Dördüncü bölüm uygulamanın MaxMSP'de yapılış süreci ve Reaper'a ek olarak yazılmış ek kodları tanımlamaktadır. Ek kısımlarında ise görsel olarak tez içerisinde gösterimi mümkün olmayan MaxMSP ekran görüntüleri ve örnek projelerin yapılması için kullanılan stüdyoların kurulum aşamaları anlatılmıştır. Stüdyoların kurulumu araştırmacının doktora süresince üstlendiği araştırma projelerinin bir sonucu ve barındırdığı çeşitli problem çözümleri ile faydalı olabileceği için ek olarak sunulmuştur.
Özet (Çeviri)
While most of the production techniques and workflows are changing with the rise of 3D audio, panning devices mostly remain unchanged. Even though there are new recording techniques, new software designs, or innovative approaches of productions, panning devices are kept mostly the same as they are used in stereo or surround mixes such as knobs, joysticks, or keyboard/mouse setup. However, in 3D productions, unlike stereo, two more automations are required, front-back and up-down, apart from left-right. Panning devices used for stereo and surround generally work on a plane, so they work efficiently in up to two dimensions, but they may be insufficient for 3D productions. Although it is tried to be possible to adapt a movement made in 2 dimensions to 3 dimensions with various software, the sonic repression of random movements can lose its naturalness. With the development of technology, various researchers and companies are making efforts to solve these problems. However, when we look at the general mixing practice, it is understood that the general preference of mixing engineers is to use a keyboard and mouse. This thesis focuses the deficiensies of panning in 3D music mixing and the solutions of the problems. The negative and positive aspects of the researches and devices produced for the solution of these problems around the world will be discussed and a controller application which was programmed by the author will be technically explained. Some productions which are mixed by using the application will be explained as an example for new production approaches in 3D audio. In the appendixes, MaxMSP patches that cannot be included in the main thesis body and the building process of the studios which were used for projects are explained in detail. In the thesis, there are two main production examples which helped the author to understand the disadvantages of the existing panning systems used in 3D mixing. They were planned to be commercial productions in Dolby Atmos® format. Thus, the application was designed to work in Dolby Atmos. Even it seems like a disadvantage, the application and the innovative approaches for mixing can be used by the engineers in commercial music production since Dolby Atmos is the most used format in the market today. Also, Apple Music is the only 3D supported platform in Turkey. Because of this, choosing that format will expand the number of composers and musicians who want to use and experience these original approaches in their productions and give them a possibility to release their work on streaming platforms in country. Nevertheless, the application can be adapted to the other commercial or experimental formats with a bit of modifications easily since it is based on a data routing rather than creating a new audio format.
Benzer Tezler
- Türk halk müziği yaylı sazlarından kemanenin doğuşu, yapımı ve ailesinin oluşması
Başlık çevirisi yok
S.YÜCEL AÇIN
- Cerrahi adayı epilepsi hastalarında epileptojenik bölgenin yüzeyel EEG kaynak yerelleştirimi ile belirlenmesi
Determination of epileptogenic zone of epilepsy surgery candidates by using surface EEG source localization
GÜLSÜM AKDENİZ
- Stz-indüklenmiş diyabetik fare ovaryumunda endoplazmik retikulum stresi (ERS) ilişkili protein ekspresyonlarının değerlendirilmesi
Evaluation of endoplasmic reticulum stress (ERS) associated protein expressions in Stz-induced diabetic mouse ovary
ASLI OKAN OFLAMAZ
Yüksek Lisans
Türkçe
2015
Histoloji ve EmbriyolojiAkdeniz ÜniversitesiHistoloji ve Embriyoloji Ana Bilim Dalı
PROF. DR. NECDET DEMİR
- MEMS sensor platform for vital monitoring under mri and intraocular pressure measurement
Yaşamsal işaretlerin ve göz içi basıncın ölçülmesine yönelik MEMS basınç ölçer platformunun geliştirilmesi
PARVIZ ZOLFAGHARI
Doktora
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR FERHANOĞLU
- Derin beyin stimülasyonu cerrahileri hedef noktalarından sentromedian çekirdek mikrocerrahi ve akmadde diseksiyon anatomisi; 3 D anatomik çalışma
Microsurgery and white matter dissection anatomy of centromedian nucleus as A target point of deep brain stimulation surgeries
ARDA TOPÇAM
Tıpta Uzmanlık
Türkçe
2022
Nöroşirürjiİstanbul Medeniyet ÜniversitesiBeyin-Sinir ve Omurilik Cerrahisi Ana Bilim Dalı
DOÇ. DR. BAŞAK CANER