交互计算机声音艺术作品光技术分析.docVIP

交互计算机声音艺术作品《光》的技术分析 　　作品简介 　　杰弗瑞?斯托莱特是美国俄勒冈大学音乐学院的教授、院长，1984年毕业于美国德克萨斯大学，获得音乐理论博士学位。是著名的电子音乐家，音乐家，致力于交互式电子音乐的创作与研究。 　　《光》创作于2008年，又名《汶川》。这首作品的原意是杰弗瑞在2008年在准备到四川讲学时，准备的一个范例，内容是交互式电子音乐的作品创作中的一些技术问题。演奏者用两只微型LED灯来照射电脑屏幕的不同部分，相关软件对亮度的侦测会形成数据流，而这些数据流会作为触发音乐的手段。《光》是被杰弗瑞称为“以数据分析为基础的音乐表演” （data-based musical performance）类型的作品。 　　使用平台 　　微型LED灯、摄像头和Kyma系统。 　　Kyma X是为一种软件和硬件结合的声音设计系统。 　　Osculator 　　OSC是一种软件，它能够被应用在许多不同的硬件设备和软件项目。它允许通过一种设备产生数据流，更新映射为不同类型信息。许多数据流能够按时接收，重新映射为不同数据，然后导出。 　　在OSC支持的硬件设备有： 　　Iphone（使用Touch osc）、wii、Guitar Hero、3D Navigator、Wacom Tablets。 　　?@些数据能够被发送至许多虚拟midi软件，如Max、Live，也还有识别OSC信息的系统，如KYMA系统。 　　OSc也能识别TUIO数据，数据源自CCV，能够被OSC接收，然后更新映射和更新。 　　CCV （Community Core Vision） 　　CCV的输出数据像OSC（Open Sound Control）信息，发出一个特别的本地端口（127.0.0.1 port3333） 　　使用CCV去创造一种“do-it-yourself”的多触发的环境是可能的，它可以表演音乐或者控制实时图像。 　　多触发界面的出现，可以产生很迷幻效果的可能，好像直觉，多用户的计算环境。CCV使用TUIO草案（Table-TopUserInterfaces Objects）。 　　TUIO（Table-top User interfaces Objects） 　　TUIO是一个开放的框架，定义为常规的协议和API（应用程序界面）和有形的多元触控界面。TUIO协议允许传输交互界面的抽象类型，包括接触事件和有型的对象状态。 　　这个协议编码的控制数据来源于一个跟踪应用程序，传送至任何客户端应用，能够实现协议的解码。 　　此协议也使用其他几个项目，连结有形用户界面和多触交互界面。API是被一个软件程序连结交互于其他软件的实现界面，API应用交互于两个类似的不同软件项目之间，这个途径为人机之间的用户多功能交互界面。 　　API通过应用软件，数据库和开放系统，去限制他们的词汇和称呼以方便性实现。用来实现它们的服务，它包括常规的说明数据结构，项目类何在用户和API制定者之间的协议应用。 　　有人可能认为周围环境的影响是一个纯技术问题，但是，本人认为这些对于灯的影响是一个挑战和机会，是为去产生音乐独特的方式。 　　去设计一个方式解决这个问题，一边能够调整阈值，是所谓的音符能够待以触发。 　　每一帧画面被分成32个矩形分散在空间内，为三列8―16―8。有时，只是紧紧这32个位置之一被照亮，这个发亮区域将触发一个单音。在另一方面，当超过一个区域被照亮，这被同时照亮的多重区域自然会产生一个和弦结构的音响。 　　如果，当旋转改变灯的方向，不管是照亮一个区域，还是多个区域，被照亮的多个区域，就不是一个问题，而是一个独特的创作方式。CCV、NUI、127.0.0.1、port为3333. 　　使用CCV符合多触环境，创作只限于自己的作品，多触界面的出现，使直观、多用户、计算环境有很强的潜力。CCV使用TUIO协议。 　　此外，杰弗瑞还有利用光线的明暗度操控声音参数的作品。 　　作品分析 　　1、技术分析 　　在《光》中，使用Kyma进行声音处理，用Osculator映射数据，用CCV Community Core Vision）来视频捕捉与分析。 　　《光》使用的摄像头以大约每秒60帧的速率来捕捉视频，将视频转成数据后，再传给分析软件，输出范围为0-255。分析软件把捕捉到的视频分割为长方形的范围内，分为三行，每行分别为8，16，8部分，共32个。 　　当某部分被LED灯照亮时，就会触发一个音，如果有多部分同时被照亮时，就会发出和声音响。演奏者通过旋转LED灯的方向控制照亮的范围，使声音发声得到控制。为了控制亮度与音高的关系，杰弗瑞还进行了相应的设置，如设置亮度阈值，使亮度达到某种数值时，才能触发