Proprius: Sonification of animal behavior in an autonomous interactive musical ecosystem
Proprius: Otonom etkileşimli müzikal bir ekosistemdeki hayvan davranışlarının sesselleştirilmesi
- Tez No: 531142
- Danışmanlar: DOÇ. DR. CAN KARADOĞAN
- Tez Türü: Doktora
- Konular: Müzik, Music
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Müzik Ana Bilim Dalı
- Bilim Dalı: Müzik Bilim Dalı
- Sayfa Sayısı: 160
Özet
Proprius yapay bir ekosistemde yas ̧ayan organizmaların sesselles ̧tirilmesine dayanan, etkiles ̧imli, arttırılmıs ̧ gerçeklik bestesidir. Bu çalıs ̧ma biyolojiden ilham alınarak yaratılmıs ̧ ve Processing programı kullanılarak tasarlanmıs ̧tır. Tezin içerisinde Processing kullanılarak tasarladıktan sonra, gerçek mekânı zenginles ̧tirilmis ̧ mekâna çevirirken kullanılan teknikler; seslerin mekânsallas ̧tırılması; seyirci üzerinde kullanılan etkiles ̧im metodları; organizmaların seyirciye göre mekânlas ̧tırılması sırasında kullanılan teknikler; ve bütün bunların sonucu olarak duyulan sesselles ̧tirme anlatılmıs ̧tır. Proprius içerindeki yapay ekosistemde yas ̧ayan organizmalar otonom olma özellig ̆ine sahiptirler ve kendi kendilerine avlanmaya ya da avcıdan kaçmaya karar verebilirler. Organizmalar sahip oldukları özellikler dog ̆rusunda beslenecekleri organizmaları seçer ve davranıs ̧larını da bu dog ̆rultuda seçerler. Proprius içerisindeki organizmalar besin zincirinden yola çıkarak tasarlanmıs ̧lardır. Üreticilerden bas ̧layan besin zinciri, ot yiyenler, hem ot hem et yiyenler ve et yiyen organizmalar olmak üzere 4 ayrı kademeden olus ̧ur. Bu ayrı katmanları temsil etmek üzere üreticiler için yes ̧il bitkiler; ot yiyenler için böcekler; hem et hem ot yiyenler için kus ̧lar ve et yiyen canlılar için büyük kediler seçilmis ̧tir. Proprius içerisindeki organizmalar dinleyici için sessel ve etkiles ̧imli bir biçimde tecrübe edilecek müzikal bir ortam meydana getirirler. Bu müzikal ortamın içerisinde yaratılmıs ̧ olan farklı sessel katmanlar organizmalar tarafından meydana getirilir. Proprius içerisinde sözü edilen farklı sessel katmanları olus ̧turan organizmalar besteye daha önceden belirlenmis ̧ zamana göre art arda eklenir. Organizmalar dog ̆dukları andan itibaren ses çıkarmaya bas ̧lar ve ölene kadar ses çıkarmaya devam ederler Proprius'un yapay ekosistemi Processing programı kullanılarak yaratıldıktan sonra, bu programdan elde edilen veriler sesselles ̧tirmeyi gerçekles ̧tirmek üzere Max/MSP programına gönderilmektedir. Max/MSP programı organizmaların seslerinin gerçek zamanda sentezlenmesi için kullanılmaktadır. Etkiles ̧imli ortamın yaratılması için dinleyicinin mekân içerisindeki konumunun takip edilmesi gerekir. Bunu sag ̆lamak için Kinect sensörü kullanılmıs ̧tır. Kinect sensörü içerisinden dinleyicinin gerçek mekan içerisindeki üç boyutlu konumunu elde etmek için Sypnapse uygulaması kullanılmıs ̧tır. Dinleyici mekânı gezerken sesselles ̧tirmeyi duymak için kulaklık takar. Dinleyicinin zenginles ̧tirilmis ̧ gerçeklik içerisindeki mekânı gezerken kulaklıkta duyacag ̆ı sesler binaural audio teknig ̆i kullanılarak dinleyiciye dinletilir. Processing ekranında yapay ekosistemin grafik animasyonu yaratılmıs ̧ olsa bile, dinleyici Proprius'u herhangi bir görsel olmadan sadece kulaklıklarla dinleyerek ve yapay ekosistem içerisinde yürüyerek tecrübe eder. Processing ekranında görselles ̧itirilen organizmalar, sadece bestecinin organizmaların hareketlerini ve dinleyicinin yapay ekosistem içerisindeki konumunu ve organizmalara etkisini takip edebilmesi için yaratılmıs ̧tır. Organizmaların sesselles ̧tirilmesi için organizmaların özellikleri (boyut, yas ̧, v.b) ve o sıradaki mevcut olan davranıs ̧ları kullanılmıs ̧tır (avlanmak, kaçmak, v.b). Her organizmayı ayrı ayrı temsil etmek üzere farklı ses sentezleme yöntemleri kullanıl- mus ̧tır. Ancak, türler arasında ortak bir es ̧les ̧tirme modeli kullanılmıs ̧tır. Özetle, organizmaların sag ̆lıg ̆ı ses dalgasının genlig ̆ine (amplitüd), organizmaların enerjisi sesin genel frekanssal zenginlig ̆ine, organizmaların boyutu sesin ana frekansına (F0), organizmaların yas ̧ı sesin duyulma sıklıg ̆ına ve organizmaların pozisyonu sesin mekansallas ̧tırılmasına denk gelecek biçimde es ̧les ̧tirilmis ̧tir. Proprius'taki organizmaların davranıs ̧ları, ses olaylarının uzunluk süresini belirler. Av/avcı etkiles ̧imlerine dayalı davranıs ̧lar (örneg ̆in kaçma ve takip etme) daha kısa süreye sahipken, otlanma ve dinlenme gibi davranıs ̧lar daha uzun sürerler. Bu, parçanın sahneleri boyunca yapısal varyasyonlar yaratılmasına neden olur. Bitkiler için yaratılan ses sentezmeler sırasında bir koro metaforundan yola çıkarak format sentezi kullanılmıs ̧tır. Bitkilerin boyutu bu sentezin temel frekansı olarak kullanılmıs ̧ ve tüm bitkiler arasında harmonik yapılar olus ̧turmak için ortak bir ölçeg ̆edayandırılmıs ̧tır. Böceklerinsesleri,cırcırböceklerininsesleridüs ̧ünülerek modellenmis ̧tir. Bu sesi üretmek için filtrelenmis ̧ gürültü sesi cırcır böceg ̆i sesine göre modellenmis ̧ amplitüd zarflarından (envelope) geçirilerek üretilir. Gürültü üzerindeki tepefiltreninmerkezfrekansı,böceg ̆inbüyüklüg ̆ünegörees ̧lenmis ̧tir. Kus ̧sesleri, tas ̧ıyıcı frekansının kus ̧un boyutuna es ̧lendig ̆i FM sentezi ile üretilir. Modülatör frekansı, spektral zenginlik yaratmak için kus ̧un enerjisine es ̧lenmis ̧tir. Amplitüd zarfları dog ̆al kus ̧ seslerine göre modellenmis ̧tir. Büyük kedilerin sesleri filtrelenmis ̧ gürültü ve eklemeli sentezin birles ̧tirilmesi ile yaratılır. Büyük kedinin büyüklüg ̆üne es ̧les ̧tirilen sentezleyicinin temel frekansı, amplitüd zarfı her tetiklendig ̆inde LFO ile modüle edilir. Organizmaların boyutları frekanslarına göre ters orantılı olacak biçimde es ̧itlenmis ̧tir. Bunu Sonucu olarak, büyük kediler hayvanlar arasında en düs ̧ük frekansa sahiptirler. Farklı bir dinamik aralıg ̆a sahip hayvanların tasarlanması, eserin son bölümünde sonik bir kaosun önlenmesine de yardımcı olur. Zenginles ̧tirilmis ̧ gerçeklik içerisine yerles ̧tirilen yapay ekosistem içindeki dinleyici, gerçek mekan içerisinden hareket ederken, organizmalar ile etkiles ̧im halindedir. Organizmalar yapay ekosistem içerisinde var oldukları katmanda yaratılacakları zaman, sistem içerisine rastgele dag ̆ıtılırlar. Zenginles ̧tirilmis ̧ gerçeklik içersinde organizmalar ve dinleyici mekânda aynı noktalarda bulundukları zaman, dinleyici organizmaların sag ̆lıg ̆ını bozarak ortaya çıkacak olan müzikal sonuca müdahalede bulunmus ̧ olur. Dinleyici Proprius'un yapay ekosistemi içerisinde dolas ̧ıp eseri dinledig ̆i sırada organizmalar ile aynı pozisyonda oldug ̆u zaman organizmaların sag ̆lıklarının normalden fazla bozulmasına neden olur. Normalde dinleyiciden gelen etkiles ̧im olmasa daha organizmlar otonom olduklarından dolayı sag ̆lıklarını belli bir zaman içerisinde kaybedecek davranıs ̧larda bulunuyorlar. Ancak dinleyicinin ekosistem içerisindeki etkisi organizmların sag ̆lıg ̆ını normalden çok fazla bozarak onların ölüm riskini arttıyor. Böylece normalde avlanmaya gidecek olan organizmanın beslenmeden ölme riski artmıs ̧ oluyor. Bu çalıs ̧mayı olus ̧turan tezin tamamı bes ̧ bölümden olus ̧maktadır. ̇Ilk bölümü bütün tezin nasıl planlandıg ̆ını anlatan giris ̧ bölümü olus ̧turur. Daha sonra aras ̧tırma pratig ̆i olan Proprius'u meydana getirmede katkıda bulunan motivasyonlar, tezin hedef ve amaçları ile tezde yaratılmak istenen hedef ve amaçları geçekles ̧tirmeye çalıs ̧ılırken kullanılan metodlar anlatılır. Tezin ikinci bölümü, bu aras ̧tırma kapsamında biyolojiden ilham alarak kullanılan hayvan davranıs ̧ları ile ilgili olan teorileri anlatarak bas ̧lar. Tezin ikinci bölümü daha sonra bu çalıs ̧manın ana temalarını içeren alanlara odaklanır ve tezin aras ̧tırma pratig ̆isırasındakullanılanyaklas ̧ımlarıanlatır. Bubölümünsonkısmında,müzik kompozisyonunda ve ses sanatında ekolojik modellerin kullanımıyla ilgili mevcut çalıs ̧malara genel bir bakıs ̧ sunar. Üçüncü bölüm Proprius'un yaratılma as ̧amasına odaklanır. Üçüncü bölümün ilk kısmında organizmaların besin zincirinden yararlanarak bir ekosistem içerisinde nasıl modellendirildikleri, bu modellendirme gerçekles ̧tilirken kullanılan teoriler, hayvan davranıs ̧larının seçiliminin nasıl kurgulandıg ̆ı ve hayvanların ekosistem içerisinde nasılhareketettig ̆ianlatılır. Dahasonrazenginles ̧tirilmis ̧gerçeklikuygulamasının kullanıldıg ̆ı teknikler ile organizmaların mekânda ve seyirciye göre nasıl yerles ̧tirildig ̆i, binaural audio metodunun nasıl uygulandıg ̆ı da anlatılır. Dördüncü bölüm, otonom etkiles ̧imli ekosistem içerisindeki hayvan davranıs ̧larının nasılsesselles ̧tirildig ̆inianlatıyor. Bubölümhayvandavranıs ̧larısesselles ̧tirilirken kullanılan gerçek zamanlı sentezleme metodları, seslerin nasıl sentezlendig ̆ini içerir. Son kısımda ise müzig ̆i olus ̧turan bölümlerin katmanları ayrı ayrı anlatılır. Bu bölüm seyircinin organizmalar ile olan etkiles ̧imi sonucu ortaya çıkan sesselles ̧tirmeyi de anlatır. Tezin son bölümü olan bes ̧inci bölüm, bu çalıs ̧manın gelecekte yönelebileceg ̆i alanları farklı öneriler altında anlatır. Bölüm, bu çalıs ̧manın genel özeti ve eles ̧tiriler kısmından sonra yazarın bu alana faydalı olacag ̆ını düs ̧ündüg ̆ü kapanıs ̧ önerileri ile sonlanır. Tezde ayrıca iki adet ek bölümü bulunmaktadır. ̇Ilk ek bölümde, yapay ekosistemin kuruldug ̆u Processing kodu tamamıyla okuyucu ile paylas ̧ılmıs ̧tır. Bilginin paylas ̧arak arttıg ̆ını savunan açık-kaynak topluluklarının da dahil oldug ̆u bu çalıs ̧ma, umuyorum ki gelecekte bu kodu gelis ̧tirecek ya da oldug ̆u gibi kullanacak aras ̧tırmacı ve sanatçılar için bir bas ̧langıç kaynag ̆ı olur. Tezin ikinci ekinde ise tez içerisinde verilen sesselles ̧tirme örnekleri toplu bir biçimde bulunup dinlenebilir. Ayrıca tezin basılı versiyonu içerisinde bulunan CD'de de bu kaynakları bulabilirsiniz. Bu çalıs ̧mayı geleceg ̆in aras ̧tırmacıları ve sessel sanatçılarına mütevazı bir sanatsal yapıt olarak sunuyorum. Bu çalıs ̧manın, müzik kompozisyonunu, ekolojik simülasyon, etkiles ̧imli sanat, artırılmıs ̧ gerçeklik içerisinde ses ile harmanlayan bir örnek aras ̧tırma pratig ̆i olarak, alanına güçlü bir katkıda bulundug ̆una inanıyorum. Umuyorum ki medya teknolojilerindeki son gelis ̧melerle, Proprius gibi artırılmıs ̧ gerçeklik kompozisyonları daha da önem kazanacaklar.
Özet (Çeviri)
Proprius is an interactive augmented reality composition based on the sonification of organisms in an artificial ecosystem. It is an autonomous sonic environment, where the sonification of an ecological simulation is used as a means to create an interactive augmented reality music composition. The consecutive layers of a food chain are used as movements that dictate the temporal progression of the composition. The listener explores a physical space augmented with Proprius to experience the compositional unfolding of the ecosystem. The listener's presence in the system affects nearby organisms; the listener is thereby situated as an interactive agent that influences the progression of the work. The stochastic allocation of resources at the beginning of the work ensures that each instance of Proprius is a unique composition. This dissertation presents the final report of Proprius, a creative research project that was conducted between 2015 and 2018. It describes the development of a biologically interactive sonic ecosystem in Processing, spatialization and interaction methods and techniques used for composition as well as a musical outcome of the interaction. In this research, an artificial ecosystem designed using the Processing platform simulates animal behaviors. The simulation data are then fed into a sonification engine designed with Max/MSP, which creates an immersive audio scene in real-time. The listener's position in the scene is tracked with a Kinect sensor; as the listener explores the exhibition space, a binaural audio scene augments their physical environment. The overall structure of this dissertation is composed of five thematic chapters. The first chapter presents the structure and contents of the dissertation. It also explains motivations, aims and objectives as well as research methods employed by the research. Chapter two begins by laying out the background information in biology within the scope of this research and focuses on the key themes of this study. It then presents an overview of the existing studies on the use of ecological models in music composition and sound art. Chapter three further explains the theoretical details of the development of the case study focusing on the programming of organisms. It describes behavioral ecology and ethological models used in Proprius. It also clarifies how the methods are applied in the study and how certain tools and techniques are utilized in the implementation of the system. Chapter four presents the compositional development and outcome of the research. It delves into approaches to sonifying animal behaviors, evaluates the musical characteristics of these behaviors, and structures the resulting sonifications in the context of an augmented reality composition. The final chapter gives a brief summary and critique. It includes limitations, concluding remarks, suggestions for further research, and propositions. The first appendix section includes the Processing code of Proprius. The second appendix section includes the complete list of audio examples given throughout this dissertation. You can listen to the individual sound examples given in the related section. The PDF version of the dissertation provides hyperlinks to references, figures, tables and chapters, and to audio examples. Additionally, the document also provides hyperlinks to audio examples. The whole appendix section also can be found in the accompanying CD that is provided with the dissertation. I would like to present this study as a modest artistic proposition in the field of sonic arts for future researchers. I believe that this study offers a strong contribution as a case study that blends music composition with ecological simulation, embodied interaction, and augmented reality audio. I expect that with recent advances in immersive media technologies, augmented reality compositions such as Proprius will gain further prominence.
Benzer Tezler
- Lateral epikondilitte posterior interosseöz sinir sendromu sıklığı: Prospektif, kontrollü, elektrofizyolojik çalışma
Posterior interosseous nerve syndrome frequency in patients with lateral epicondylitis: Prospective, controlled, electrophysiologic study
ÇİĞDEM ÇİLİNGİROĞLU
Tıpta Uzmanlık
Türkçe
2018
Fiziksel Tıp ve RehabilitasyonSağlık Bilimleri ÜniversitesiFiziksel Tıp ve Rehabilitasyon Ana Bilim Dalı
UZMAN MERAL BİLGİLİSOY FİLİZ
- Musculus flexor digitorum profundus aksesuar başının alternatif greft olarak kullanılabilirliğinin araştırılması
Musculus flexor di̇gi̇torum profundus aksesuar başinin alternati̇f greft olarak kullanilabi̇li̇rli̇ği̇ni̇n araştirilmasi
İSMAİL YAĞMURHAN GİLAN
Yüksek Lisans
Türkçe
2014
AnatomiMersin ÜniversitesiAnatomi Ana Bilim Dalı
DOÇ. DR. ALEV BOBUŞ KARA
PROF. DR. NURTEN ERDAL