增强现实技术在舞蹈和戏剧中应用.docVIP

增强现实技术在舞蹈和戏剧中应用 　　[摘要]介绍利用增强现实技术扩展舞蹈和戏剧的表现，借助实时的基于计算机视觉的身体跟踪和手势识别技术，以及Mcdia Actors软件，在舞蹈和戏剧中通过图像、视频、音乐、文本与演员共同表演，拓展传统表演空间与艺术形式。 　　[关键词]舞台表演；增强现实；互动式虚拟环境（IVE）；舞蹈空间；戏剧空间；建模技术 　　1引言 　　为表演者搭建的互动舞台，可以协调和同步表演者的手势、身体动作和语音，以及投影图像、图形、表现文字、音乐和声音。笔者已经开发了两种协作技术：一种是光学的，不受束缚的，能实时跟踪人体；另一种赋予数字媒体感知能力，表现能力和交流能力，类似于人类演员。 　　在舞蹈中，笔者进行了人体运动音乐和图形增强的研究。建立一种“舞蹈空间”（DanceSpace）：由舞者的动作生成音乐和图形的舞台，即一小组乐器附着在舞者的身体上，并产生与柔和的背景音乐作品一致的旋律配乐；同时，表演者将图像投影到一个大的背景屏幕上，用身体作为画笔。在这种情况下，计算机的角色可以看作一个“助理编舞”，该系统能够在演奏者使用他们的身体作为界而创建或排练一个片段时即兴创作配乐。当编舞者希望基于身体动作来创造舞蹈表演而不是遵循预选的乐谱时，这是一个很大的优势。 　　在剧院里，笔者做了手势、姿势和语音增强方面的研究。在即兴“戏剧空间”（TheaterSpace）中，笔者设定了一种情境，演员能把自己的想法以动画、文本的形式投射在舞台上，进而与自己的想法相互作用。在这种情况下，计算机的角色是通过使用感知和表达媒体，与真实演员合作进行表演。 　　在下面的章节中，笔者将描述互动式虚拟环境（Interactive Virtual Environment，IVE）舞台，利用实时光学人体跟踪系统和Media Actors软件架构，提供舞蹈空间和即兴剧场空间的艺术和技术细节。 　　2 IVE舞台技术 　　互动式虚拟环境舞台是一个大约4.6 m×5.2 m的房间，要求良好且恒定的光照，还有固定的背景：大型投影屏幕占据房间的一侧，安装在屏幕顶部的向F指向的广角摄像机容许IVE系统跟踪表演者，如图1所示。通过使用实时计算机视觉技术（Wren，1997：Darrell，1996：Oliver，1997），能够解释表演者的姿势、手势、身份和动作。显示屏上方安装有相控阵列传声器，用于拾音和语音处理。安装在旋转云台上的窄角摄像机也可用于精细视觉感应。一台或多台计算机用于实时监控输入?O备。 　　IVE没有额外的学习成本，表演者不必花费时间适应、清洁设备或解开导线。IVE是为了更通用的目的而建立的，使得人们不用头戴式显示器、手套或其他装备，就能参与沉浸式的互动体验和表演（Wren，1996；Darrell， 1994）。通过摄像头和传声器遥感，人们可以自然而然地与大型投影屏上显示的素材进行互动。IVE目前只支持该空间中一名表演者以及多名观演者，笔者正在扩展跟踪技术，以支持多名表演者同时表演。 　　3实时计算机视觉输入系统 　　实时计算机视觉程序被称为Pfinder，即“人物发现者”（Wren，1997）。Pfinder是一种对单个表演者运动进行身体跟踪和解释的系统。该系统只使用指向舞台的广角摄像头，以及一台标准Silicon GJraphics 02计算机；采用颜色和形状的多类统计模型，将人从背景中分割出来，然后在各种视角下查找和跟踪人的身体部位。它采用“最大后验”概率的方法，使用简单的二维模型来对人体进行检测和跟踪。 　　Pfinder先建立场景模型，首先研究没有人的场景。当一个人进入时，场景中会看到一个巨大的变化，意味着Pfinder开始构建该人的模型，随着时间的推移，建立起一个像动态的“多团块（ multi-blob）”一样的结构。建模过程由人身体上的颜色分布所驱动，那些团块则代表着不同颜色的区域（见图2）。人体的头、脚、衬衫、裤子都会生成单独的团块。构建团块模型的过程由二维轮廓形状分析引导，该轮廓形状分析可以识别可靠标记身体部位的轮廓。 　　计算机视觉系统由几层组成。最低层使用自适应模型，将用户从背景中分割出来，使系统无需使用色键和特殊服装即可跟踪用户，同时识别用户轮廓内的色彩分段。这使系统能够跟踪重要的特征（手），即使这些特征不能从图形背景分割中辨别出来。这个附加的信息使得推导用户的一般三维结构成为可能，在下一层产生更好的手势跟踪，使用分割和团块分类的信息来识别有趣的特征：边界框、头、手、脚和矩心。最高层使用这些特征，结合人体的知识来检测重要的手势和动作。如果Pfinder被给定相机模型，它通过反投二维图像信息，利用假设平面用户垂直于平面地板，生成一个预估的三维位置。Pfinder可提供并行服务，为几个客户端提供