舞台演出效果体感指挥系统探讨.docVIP

舞台演出效果体感指挥系统研究 　　摘要：随着硬件技术的快速更新，多传感方式的体感设备逐渐被用于人机交互的界面，现有的歌剧表演已经无法满足体感设备输入的需要，特别是在数字创作领域。因此，研究支持体感的远程虚拟指挥系统是本课题研究的关键技术之一 关键词：体感设备；人机交互；歌剧表演；远程指挥系统 1研究背景 歌剧表演是一门西方舞台表演艺术，简单而言就是主要或完全以歌唱和音乐来交代、表达剧情的戏剧（是唱出来而不是说出来的戏剧）。歌手和合唱团常有一队乐器手负责伴奏，有的歌剧只需一队小乐队，有的则需要完整的管弦乐团。有些歌剧中都会穿插有舞蹈表演，如不少法语歌剧都有一场芭蕾舞表演 随着硬件技术的快速更新，多传感方式的体感设备逐渐被用于人机交互的界面，现有的歌剧表演已经不能满足体感设备输入的需要，特别是在数字创作领域，因此研究支持体感体验的远程指挥系统是本课题研究的关键技术之一，并且如何实现高新技术和文化艺术完美结合，突破学科、领域、行业的壁垒已是影响我们文化产业快速发展的紧迫问题。充分利用现在的高新技术应用于文化服务的集成性创新，从文化创意产业内容、智能创意、虚拟世界、高效实时交互等技术人手，整合优化提升传统人工操作、人力生产的文化可持续产业发展能力，已经证明是一条可持续发展的必由之路，数字化舞美科技产业这一新兴产业形态已经出现 2系统概述 远程虚拟指挥系统主要完成的是对Kinect运动采集设备采集好的数据进行分析与处理的过程，这里分析的数据主要是人体骨骼和指挥棒骨骼的区分与处理。可以通过分析所得的数据对捕捉到的骨骼进行区分并进行分别渲染输出 该系统首先利用Kinect动作捕捉设备采集指挥家运动的连续图像，对采集的图像进行分析，计算输出图像中指挥家及指挥家手中的指挥棒移动的位置、方向、速度等信息。再由远程通信系统传输这些数据给底层图形渲染引擎，通过渲染引擎的计算，传输给视频输出设备，以引擎默认的笛卡尔坐标系在场景中实现指挥家及指挥棒的动作复现 3通过Kinect获取动作捕捉数据 Kinect感应器是一个外形类似网络摄影机的装置。Kinect有三个镜头，中间的镜头是RGB彩色摄影机，左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由多组麦克风同时收音，比对后消除杂音 Kinect有1080p视频传感器，能够获取更清晰的图像和视频信息。深度传感器所能支持的最大分辨率来允许捕捉更多的细节，如手指动作和肢体定位。Kinect每秒数据处理量可达2GB。微软用读取深度“飞行时间计算”的方法来替代了现有的“光照测量”的测算方法，使得Kinect更快、更准确。该方法基于单个光子从物体或人身上反弹回来的最准确的时间计算原理本课题中利用Kinect对演员动作的实时捕捉，实现对人物模型的动作捕捉用于模型库、动作库的构建以及实时交互排演操控，与舞台场景中其他物体角色进行交互等，触发其他物体或角色的既定反应，使数字表演更具真实感，并且通过对视觉效果的渲染，加以雷电等特效，令观众获得更优质更震撼的视觉体验。通过Kinect操作界面与引擎中的控制结构流程设置来实现人物模型的体感交互控制。Kinect数据可以将实时数据传人引擎并与3d引擎中对象进行互动，也可以扫描出较低精度的舞美道具及人体模型，并存入模型库 4人体骨骼识别 在Kinect里面，是通过20个关节点来表示一个骨架的，当走进Kinect的视野范围的时候，Kinect就可以把人体的20个关节点的位置找到，位置通过（x，y，z）坐标来表示。这样，在Kinect前面做很多复杂的动作的时候，因为人的动作和这些关节点的位置的变化关系还是很大的，那么电脑接收到这些数据后，对于理解表演者做什么动作就很有帮助了 玩家的各关节点位置用（x，y，z）坐标表示。与深度图像空间坐标不同的是，这些坐标单位是米。坐标轴x，y，z是深度感应器实体的空间x，y，z坐标轴。这个坐标系是右手螺旋的，Kinect感应器处于原点上，z坐标轴则与Kinect感应的朝向一致。y轴正半轴向上延伸，x轴正半轴（从Kinect感应器的视角来看）向左延伸 5指挥棒骨骼提取 该模块首先获得Kinect的深度图，然后，利用NITE库跟踪手中心点的位置。在跟踪和检测到手点的位置以后，根据手中心点的z坐标，对深度图进行分割，然后将手中心点投影到二维，根据手的大小再一次二维分割 据此会得到一个包含手臂、手和指挥棒的部分，而且由于Kinect数据的特点，会导致该区域的边缘锯齿比较明显，这样就会影响后面指尖检测算法的准确性，因此，在得到该区域之后，对它应用贝叶斯颜色模