Designing digital interfaces for enhanced musical interaction and digital instrument mapping strategies to improvise alongside acoustic instruments
Müzikal etkileşimi arttıracak dijital arayüz tasarımları ve akustik enstrümanlarla birlikte doğaçlamalar için dijital enstrümanlara yönelik eşleme stratejileri
- Tez No: 735113
- Danışmanlar: DR. ÖĞR. ÜYESİ GÖKHAN DENEÇ, DR. ÖĞR. ÜYESİ KONSTANTINOS VASILAKOS
- Tez Türü: Yüksek Lisans
- Konular: Müzik, Music
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Müzik Ana Bilim Dalı
- Bilim Dalı: Müzik Bilim Dalı
- Sayfa Sayısı: 101
Özet
Günümüzde teknolojinin sunduğu imkanların artmasıyla, birçok sanatçı kafalarındaki fikirleri ve ses dünyalarını izleyicileriyle paylaşabilmek için, kişiselleştirilmiş dijital müzik enstrümanı ya da etkileşimli müzik sistemi tasarlama yolunu tercih etmeye başlamıştır. Bu tez çalışmasında, çeşitli doğaçlama topluluklarında bilgisayar müzisyeni olarak edindiğim deneyimlerden faydalanma ve karşılaştığım sorunları giderebilmek motivasyonuyla geliştirdiğim etkileşimli müzik sistemlerinin genel yapısı, tasarım aşamasındaki tercihlerim ve sebepleri, müzikal çıktısı detaylıca açıklanmış ve alandaki çalışmaların incelenmesi ve benzer sistemlerin karşılaştırılması yoluyla literatürdeki yeri saptanmaya çalışılmıştır. Etkileşimli müzik sistemlerinin, sanatçıların kişisel fikirlerini ve ses dünyalarını yansıtmak amacıyla tasarlanmasından dolayı, kendine özgü yapıları ve farklılıkları vardır. Her sistemin sanatsal gerekliliklerinin farklı olması, etkileşimli müzik sistemleri alanında, sistematize edilmiş bilgi birikimi sağlamayı ve üzerine uzlaşılmış tasarım yöntemleri belirlemeyi oldukça zorlaştırmaktadır; dahası, bu sistemlerde kullanılabilecek kontrol arayüzlerinin çeşitliliği, bunu neredeyse imkansız hale getirmektedir. Bütün bunlara rağmen, etkileşimli müzik sistemleri alanında çalışan araştırmacılar ve pratisyenler, başka tasarımcıların deneyimlerinden ve bu sayede oluşturdukları genel yaklaşım şekillerinden faydalanmamıza engel olmaması gerektiği konusunda hemfikirdirler. Tezin okuyucu tarafından anlaşılır olması amacıyla, sistemin yapısı nedeniyle çok fazla önem taşıyan 'etkileşim, hareketsel kontrol, eşleme, katmanlama' gibi kavramlar literatür dahilinde tartışılmış ve açıklanmaya çalışılmıştır. Etkileşimli sistemleri farklı şekillerde tanımlamak mümkün olsa da, bu tez çalışmasında basitçe 'insan ve bilgisayar arasındaki bilgi akışı ile birbirini karşılıklı olarak etkileyen sistemler' olarak ele alınmıştır. Söz konusu etkileşimli müzik icrası olduğunda, Chadabe'nin“Bir icracının bir müzik aleti ile etkileşime girerek müziğin kontrolünü paylaştığı bir performans süreci”tanımı baz alınmıştır (Drummond, 2009). Kontrol arayüzleri, müzikal performasın gelişimine doğrudan etki ettiği için etkileşimli müzik sistemlerinin çok önemli bir parçasıdır. 2020'lerde kontrol arayüzleri tasarımında iki tür yaklaşım popülerliğini korumaktadır; klasik enstrümanlardan esinlenerek yaratılan arayüzler ve 'alternatif' arayüzler. Klasik enstrümanlardan ilham alan arayüzler, ilham alınan enstrüman için icracının halihazırda sahip olduğu deneyim ve teknikten faydalanırken, alternatif arayüzler ise sanatsal ihtiyaçları daha benzersiz yollarla karşılayarak daha özgün ve ilgi çekici olmayı hedeflerler. Kontrol arayüzlerinin sistematik değerlendirilmesi konusunda girişimler olduysa da, bu çalışmaların faydaları, sistem tasarımının sanatsal boyutunu kapsayamadığı için tartışmaya açıktır. (Wanderley and Orio, 2002; Poepel 2005; Jorda, 2004) Eşleme işlemi sistemin doğasını belirlemesi sebebiyle tasarımdaki önemli adımlardan biridir. Sistemin transparanlığı, ifadeselliği, icra kolaylığı, bilişsel yükü gibi özelliklerine etki ederek, icracıların ve izleyicilerin deneyimini belirler. Alandaki çalışmalar incelendiğinde, başarılı bir eşleme sisteminin getirileri şunlardır: yüksek ifadesellik sağlaması, icra kolaylığı, ilgi çekici bir hale getirmesi. Eşlemenin dört farklı türü vardır: Birebir eşleme, yakınsak eşleme ve ıraksak eşleme ve çoktan çoğa eşleme. Birebir eşleme bir kontrol parametrenin bir işitsel parametreye eşlenmesidir. Bazı araştırmacılar, bu eşleme yöntemini akustik enstrüman tekniğiyle karşılaştırdıklarında yetersiz bulsalar da, diğer araştırmalar kontrol kolaylığı sağlaması ve transparanlığı arttırması sebebi ile tercih edilebilir olduğunu savunmaktadırlar (Rovan et al., 1997; Tanaka 1993). Yakınsak eşleme birçok kontrol parametresin bir işitsel parametreyle eşlenmesidir. Iraksak eşleme bir kontrol parametresinin, birçok işitsel parametreyle eşitlenmesidir. Çoktan çoğa eşleme ise, aslında ıraksak ve yakınsak eşlemenin bir arada kullanıldığı eşleme türüdür. Birebir eşleme dışında kalan eşleme türleri müzikal ifadeselliğe katkı sağlayabilmektedir, ancak bilişsel yük artışına sebep olduğu ve kontrolü zorlaştırabildiği gibi, görsel ifadesellik sağlayan performans teatrallerinin icrasını engelleyebilmektedir. Katmanlama, bir tür eşleme stratejisidir. Doğrudan kontrol parametreleri ile işitsel parametreleri eşlemek yerine, araya yapay katmanlar ekleyerek, daha karmaşık eşlemleme yöntemleri oluşturulabilir. Katmanlama aynı zamanda, kontrol arayüzü yada ses sentezleme birimi değişikliği gibi, sistemin başka senaryolara uyarlanabilirliği için de önemlidir. Katman sayısı arttıkça katmanlar arası eşlemleme daha kolay ve berrak bir hale gelirken, eşlemenin genel yapısı daha karmaşık hale gelmektedir. Eşleme stratejilerinde transparanlık, icracının ve izleyicinin, icra sırasındaki hareketler ile bunların sessel sonuçları arasında rahatça bağlantı kurabilmesini betimler (Vasilakos, 2018). Akustik enstrümanların ses üretim mekanizmalarının fizik kurallarına bağlı olması sebebiyle doğal olarak sahip olduğu bu kavram, dijital enstrüman tasarımında oldukça önemli yer tutmaktadır. Yeni geliştirilen etkileşimli müzik sistemlerinin ve dijital enstrümanların, köklü enstrümanlardaki gibi bir icra geçmişi ve bununla bağlantılı bir repertuarı olmaması, icranın izleyici tarafından anlaşılmasını ve değerlendirilmesini zorlaştırmaktadır. Transparan bir tasarım bu sorunun üstesinden gelmeye yardımcı olduğu gibi, aynı zamanda icracının daha sezgisel bir şekilde kontrolüne olanak sağlamaktadır. Transparan bir tasarım yaratmak için başvurulan yollardan bir tanesi ise metaforlardan faydalanmaktır. Metafor kullanımında dikkat edilmesi gereken önemli noktalardan biri ise, icracıların ve seyircilerin metafor olarak kullanılan kavrama aşina olmasıdır (Fels et al., 2002). Lemohaxis, handpan, Xbox oyun kumandası ve leap motion cihazı ile doğaçlama müzik yapmak için geliştirilmiş bir etkileşimli müzik sistemidir. Sistemin amacı, icracıların gelişkin bir müzik bilgisi veya eğitimi olmaksızın, beraberce meditatif bir doğaçlama müziği ortaya çıkarmalarına olanak sağlamaktır. İlk bakışta üç farklı enstrüman izlenimi verse de, aslında bir bütün olarak çalışmaktadırlar. Sistemin verimli bir etkileşim sağlayan en önemli özelliği ise, handpan tarafından çalınan notaları takip ederek, doğaçlamada kullanılabilecek yeni bir nota dizisi belirlemesidir. Yani icracıyı dinleyerek, performansın sonraki bölümüne yön vermekte, ve bu döngü sürekli olarak devam etmektedir. Ancak unutulmamalı ki, etkileşim aracı olan algoritma sessel çıktıya doğrudan müdahele etmemekte, icracıyı yönlendirme yoluyla etki etmektedir. Sistem üç farklı yazılım kullanılarak oluşturulmuştur: Supercollider, Max ve Processing. Processing yazılımı, leap motion cihazından gelen verileri alarak, OSC bağlantısı ile işitsel parametrelere eşlendiği Supercollider'a yönlendirmektedir. Ayrıca handpan icracısına yeni nota dizisinin görsel bildirimi görevini üstlenmektedir. Max yazılımı, handpan tarafından çalınan notaları takip ederek, içerisindeki algoritmayla yeni nota dizisini hesaplayarak Processing yazılımına OSC yardımıyla göndermektedir. Ayrıca handpan tarafından çalınan müzikal cümleleri kaydedip tekrar çalma, efekt ekleme, önceden kaydedilmiş ambiyans seslerini çalma gibi görevleri yine Max yazılımı üstlenmektedir. Xbox oyun kumandası girdileri tarafından kontrol edilen bu görevler, bilgisayarın işlemcisine yük olmamak için, Max yazılımının içinde eşlenmiştir. Supercollider yazılımı ise Processing'den gelen leap motion girdilerini kullanarak, çeşitli ses üretimi üniteleri aracılığıyla sentezlenmiş sesler yaratma görevini üstlenmiştir. Sistemdeki eşlemlemenin eşsiz özelliklerinden biri, leap motion cihazı kontrolü, handpan çalgıcısına uyum sağlayacak şekilde otomatik olarak kendini adapte etmektedir. Bu durum çalınabilecek nota çeşitliliğini azaltsa da, sistemin profesyonel olmayan icracılar tarafından kolayca kullanabilmesini mümkün kılmaktadır. Lemohaxis, literatürdeki diğer enstrümanlar ve sistemlerle karşılaştırıldığında önemli farklılıklarından biri, arttırılmış enstrüman (augmented instrument) yapısına benzemesine rağmen aslında bir interaktif müzik sistemi olmasıdır. Diğer bir önemli farklılığı ise geliştirilen sistemlerin çoğu işitsel parametrelerin detaylı ve ustaca kontrolünü ön plana çıkarırken, Lemohaxis'te virtiöziteye giden yolun kontrol arayüzlerinin detaylı kullanımından ziyade, müzikal blokların inşasından, yani emprovizasyonel anlayışın ve icracılar arasındaki iletişimin geliştirilmesinden geçmesidir. Guru ise yine elektro-akustik doğaçlama için geliştirilmiş bir sistemdir. Sistem tek bir icracı tarafından kullanılabildiği gibi, iki ya da üç icracı tarafından da kullanılabilmektedir. Sistemde kontrol arayüzü olarak leap motion, xbox oyun kumandası ve playtron tercih edilmiştir. Sistemde herhangi bir akustik çalgı kullanılabilmesine rağmen, sistemin tahmin edilebilir şekilde çalışabilmesi için perdeli bir çalgı ile kullanılması önerilir. Aksi takdirde perde takibi beklenen isabete sahip olamayabilmekte ve bu da öngörülemeyen müzikal çıktılara sebep olabilmektedir. Sistemin en önemli özelliklerinden biri ise, leap motion arayüzünün kontrol eşlemlemeleri arasındaki geçişlerin playtron ile sağlanmasında tercih edilen yöntemdir. Playtron sayesinde, leap motion arayüzünün kontrol eşlemesi üretilen ses ile ilgili izleyiciye ipucu verebilecek objelere dokunarak kontrol edilmektedir ve bu tercihteki amaç, izleyicinin ses ve icracı hareketleri arasındaki bağlantıyı rahatça kurmasını sağlayarak daha transparan bir performansa olanak sağlamaktır. Guru'nun geliştirilmesinde bilgisayarın merkezi işlem birimi yükünü azaltmak için Supercollider ve Processing yazılımları kullanılmıştır. Processing leap motion ile algılanan el hareketlerini yorumlamak ve Supercollider yazılımına aktarmak amacıyla kullanılırken, ses sentezi, perde takibi ve benzeri işlemler Supercollider tarafından yürütülmektedir. Sistem geniş bir müzikal dağarcık kullanmak üzere tasarlanmıştır ve gürültüden, sentezlenmiş akorlara kadar bir çok müzikal etmenden faydalanmayı mümkün kılmaktadır. Guru sisteminde icracı sistem diyaloğu ses düzleminde gerçekleşmektedir ve bu bağlamda Lemohaxis'ten ayrışmaktadır. Akustik enstrümanlarla birlikte bir doğaçlama performansını mümkün kılmak için yaygın bir yöntem olan nota takibini kullanmaktadır ve akustik enstrümanlar ile dijital kontrol arayüzleri arasında 'tonal' bir köprü kurmaktadır. Akustik enstrümanlarla birlikte doğaçlama yapmak amacıyla farklı yaklaşımlar sunan bu iki sistem ile gerçekleştirilen performansların video kayıtlarının, performans sonrasında icracılarla yapılan görüşmelerin ve anketlerin analizleri ile şu sonuçlara varılmıştır: • Yüksek seviyede bir etkileşim sağlamak amacıyla geliştirilen nota bulutu algoritması, çok boyutlu ve karşılıklı etkileşimi mümkün kılmakta, ancak yapısı itibariyle tını çeşitliliğini kısıtlamakta ve doğaçlamanın potansiyelini sınırlandırmaktadır. • Örnek sistemdeki profesyonel müzisyenlerin ve müzisyen olmayan icracıların performans karşılaştırması göstermektedir ki,“öğrenmesi kolay, ustalaşması zor”ideal öğrenme eğrisi, yaygın olarak kullanılan, sez sentezi parametrelerinin kapsamlı ve detaylı kullanımı dışında, alternatif yollarla da elde edilebilmektedir. • Optik sensörlerin kullanımı sayesinde temassız olarak el hareketleri yardımıyla gerçekleştirilen kontroller, Xbox oyun kolu gibi cihazlara göre çok daha ifadesel sistemlerin tasarlanmasına olanak sağlamaktadır. Bunun sebebi icracının müzikal çıktıya etki eden hareketlerinin izleyiciler tarafından görülememesi ve bu nedenle yorumlanamamasıdır. • İzleyicinin icracıların eylemlerini ve sonuçta ortaya çıkan sesi ilişkilendirmesine izin vermek için sonik olayla ilgili nesnelerin kullanılmasının sistemin şeffaflığı üzerinde olumlu bir etkisi olduğu gözlemlenmiştir. Yeni geliştirilen sistemlerde, icranın izleyici tarafından anlaşılmasını ve değerlendirilmesini kolaylaştırmak için bu yaklaşım tercih edilebilir. Uygulama temelli olan bu araştırma, etkileşimli müzik sistemleri alanını keşfederek, tasarım kararlarının ve eşleme stratejilerinin sistem çıktısı üzerindeki etkilerini tartışarak, geleneksel tasarım stratejileri hakkındaki yerleşik düşüncelere katkıda bulunmaktadır.
Özet (Çeviri)
Today, with the increased accessibility of powerful processors and the development of sophisticated musical software, digital musical instruments, and interactive music systems have become quite common. It is now possible for sound artists to develop their customized musical instruments or interactive music systems to realize musical ideas that they have in their minds. Various commercialized digital control interfaces like Leap Motion Tracker or Playtronica's Playtron, which developed in the last two decades, offered great potential in musical applications. The advancements in human-computer interaction fashion led to much more expressive and engaging designs. This thesis is written from a unified perspective of a designer/composer/performer and proposes two newly developed interactive music systems: 'Lemohaxis' and 'Guru'. This study examines Lemohaxis and Guru as the main outputs of the study with focusing on their design processes and discusses their place in the literature. Additionally, in order to understand the effects of design decisions on the systems, these two systems are compared in detail. A limited number of performances were evaluated through various data collecting methods including questionnaires and unstructured interviews with the performers and the audience. The results of this research show that gestural controls with a Leap motion tracker can be much more expressive when compared to an Xbox controller. Also, simple one-to-one mappings for gestural controls allow a high level of performability for novice users without lowering the expressivity as long as it is possible to perform theatrics intuitively, yet it limits the complexity of musical controls. Comparison between two example systems show that there is a tradeoff between sonic expressivity and performability. In addition, the unique perspective in exemplary design of 'Lemohaxis', emphasizes that it is possible to achieve the targeted learning curve with unconventional approaches. Another innovative approach that is suggested by 'Guru' system is, using objects that are related to sonic outcome for switching between mapping presets of the leap motion to let the audience to relate the performers actions and the resulting sound for improving transparency. The concepts that are vital to an interactive music system design are introduced through a review of the literature. Similar systems and digital instruments are examined in terms of aesthetics and structural design. Structures of systems, mapping strategies, aesthetic needs, and decision-making on control interfaces are discussed in detail. Structural design, musical output, and the artistic needs that the systems must meet, are compared with similar digital instruments and interactive systems in the field.
Benzer Tezler
- Tasarım eğitim kurumları ve yerel yönetimler arasındaki iş birliklerinin incelenmesi
An examination of design school and local government collaborations
SANİYE FIŞGIN KORKMAZ
Doktora
Türkçe
2020
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstri Ürünleri Tasarımı Ana Bilim Dalı
PROF. DR. HATİCE HÜMANUR BAĞLI
- Robot denetimi için özgün bir el terminali tasarımı ve inşaası
Başlık çevirisi yok
AHMET YILDIZ
Yüksek Lisans
Türkçe
1996
Astronomi ve Uzay Bilimleriİstanbul Teknik ÜniversitesiY.DOÇ.DR. T. BERAT KARYOT
- Kentsel etkileşim tasarımı için disiplinler ötesi bir deneme
A transdisciplinary experiment for urban interaction design
ÇİSEM ÇİLDİR
Yüksek Lisans
Türkçe
2020
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiKentsel Tasarım Ana Bilim Dalı
PROF. DR. TURGAY KEREM KORAMAZ
- Dijital pazarlamada kullanıcı deneyimi tasarımının marka değerine etkisi: Getir uygulaması örneği
The impact of user experience design on brand value in digital marketing: A study on the Getir app
VERDA SİMA DAŞKESEN
Yüksek Lisans
Türkçe
2023
Halkla İlişkilerYalova Üniversitesiİletişim ve Tasarım Ana Bilim Dalı
DOÇ. DR. SİBEL AKOVA HAVALI
- MS-DOS işletim sistemi ve bilgisayar virüsleri
The MS-DOS operating system and the computer virus
BURAK SELÇUK SOYER
Yüksek Lisans
Türkçe
1992
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiDOÇ. DR. MİTHAT UYSAL