kinec在视频中的应用.docx

kinec在视频中的应用 随着互联网的发展，视频会议应用程序可以通过现有网络传输图像、声音和其他数据，并与两个以上不同位置的个人或群体进行即时和互动沟通。而Kinect作为一个体感设备,则提供了一体化的语音、影像输入及处理,能有效的提高人机交互,为视频会议提供更具互动性的沟通。Kinect这一设备功能强大,同时价格便宜,具有很高的性价比,能使视频会议系统提供更好的用户体验。 本文从分析目前视频会议系统所存在的问题着手,系统地阐述了Kinect体感设备在视频会议系统中所能提供的服务,其中包括手势识别、语音识别及定位、影像识别及处理等;并通过介绍广东省计算机网络重点实验室开发实现的ViewCool视频会议中的Kinect的应用研究,进一步论证了Kinect在视频会议中的实用价值以及对视频会议系统发展创新的积极现实意义。 1 视频监控设备的改进 视频会议作为一个将多个用户通过网络联系在一起进行交流的应用,其对交互性以及真实感的要求是相当高的,而目前的众多视频会议系统存在诸如缺乏交互性和价格过高的问题,这在一定程度上影响了视频会议系统的应用。 ① 交互性 由于视频会议系统的特殊性,往往需要用户与屏幕、视频音频输入设备具有一定的距离,这决定了需要使用一些遥控设备来对以上设备进行交互,这在一定程度上降低了交互的用户体验。“你就是控制器”,通过Kinect体感设备的应用,能有效地摆脱遥控器的限制。现有的其他设备并不能真正地进行人体骨骼及语音的实时追踪,而Kinect这设备则提供了这样的功能。 ② 性价比 为了实现在会议中需要的高质量视频影像及语音,通常需要采用一些高价格的摄像头及声音阵列,而且往往这些设备并不是一体化的,性价比并不高。而Kinect这一设备实现了摄像及语音的一体化处理,并能提供了深度摄像头,具有很高的性价比。 2 实时图像展示 广东省计算机网络重点实验室开发实现的CoolView视频会议系统主要包括会议及文档共享两大基本功能,其中文档共享主要是指会议过程中各与会成员均能在本地实时看到主讲人的PPT演示过程。 Kinect实物图及其组件说明: 其主要包括以下的特点及功能: ① Kinect底部为多点阵列麦克风:主要功能为声音输入及定位,并可以帮助过滤环境噪声。 ② RGB摄像头:作用是进行图像捕获。 ③ 两个深度传感器:由红外线投影机加单色CMOS传感器组成,使得设备能识别3D空间。 ④ 底座有机械转动功能,可以让摄像头本体能够看到的范围更广泛。 3 kin用于会议系统 针对视频会议的需要,在广东省计算机网络重点实验室实现的CoolView系统中,Kinect主要有以下的一些应用。 3.1 机械转动功能 Kinect具有两个深度传感器,从而能提供了人体骨骼的捕获功能,目前阶段能最多定位6个人的骨骼位置,而且能最多追踪2个人的骨骼数据;其底座的机械转动功能,则能使Kinect在上下方向上移动,从而能扩展Kinect的有效范围并能更好地锁定用户的骨骼。这使得Kinect能在视频会议的人机交互中起到很好的作用。 knect的骨髓识别功能 目前,PPT演示已经在一些会议中成为了很重要的一部分,往往主讲人都需要利用PPT来协助自己完成演讲,从而给听众对自己的观点一个更具象的认识。因此,在CoolView视频会议系统中,文档屏幕共享是一个重要的组成部分,而如果在演讲的过程中,主讲人需要拿着一个遥控器来进行控制PPT的翻页,会降低系统的用户体验。Kinect的骨骼追踪功能能有效地克服这一缺点。 通过Kinect的骨骼识别,可辨识主讲人的手势,然后根据手势的定义规则来对PPT的翻页进行控制,如可定义右手从胯部提起为下一页,左手从胯部提起为上一页。 如若主讲人需要在PPT上划线标注等,也可以直接通过手掌移动,即在PPT上进行划线标注操作。 由于Kinect本身的特点,用户的骨骼识别需要在Kinect可视的有效范围内方能有效。因此在辨别手势控制PPT的过程中,应对用户进行合适的提醒:如告知其是否在有效范围,需要左移还是右移、是否需要后退,如果多人同在Kinect的有效范围时是哪一位具有控制权等。而且在必要的时候可使Kinect上下移动,更好地锁定用户的骨骼。 kgect的功能 在多人会议的过程中,往往发言需要请求。而通过Kinect可自动识别出哪一位与会人员正在举手请求发言。 因为Kinect本身的限制,需要用户的胯部以上范围出现在Kinect的有效范围才能进行骨骼追踪,而参与会议时,会议桌往往会挡住用户的身体而导致放在用户前方Kinect无法捕获用户骨骼,此时可将Kinect放在用户身后,从而捕获用户的举手请求。 正如前面所说,Kinect最多追踪两人的骨骼,所以该功能只适用于每台Kinect有效范围内不多于2人的情况。 从根本上来讲,①和②