基于Shape Context人机全景自然浏览与交互系统.docVIP

基于Shape Context人机全景自然浏览与交互系统 　　[摘要]基于Shape Context提出一种改进的,适用于人体跟踪全景浏览的方法来构建一个摄像头驱动的全景浏览展件。Shape Context是一个内容丰富的特征描述符。它对特征点的位置几何属性要求低,只要是轮廓上的点都可以拿来作为特征点并提取该点的Shape Context来作为图像轮廓的特征描述符。摄像头驱动的全景浏览,浏览者从画布面前走过时画布中的全景跟随浏览者的脚步移动。当浏览者正视画布仔细欣赏全景中的景致时不经意的抬头和底头将会看到仰视和俯瞰不同视角下的景观。 　　[关键词]Shape Context轮廓提取帧匹配全景浏览实时绘制 　　中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)1220058-01 　　 　　一、引言 　　 　　三维全景(也称实景虚拟)是基于全景图像的真实场景虚拟现实技术。它是把照相机环360度拍摄的一组或多组照片拼接成一个全景图像,通过计算机技术实现全方位互动式观看的真实场景还原展示方式。它给人们带来全新的真实的现场和交互式的感受,用户可以调整自己的视角,位置任意使全景前进后退,如亲临现场般环视、俯瞰和仰视。 　　 　　二、全景互动浏览行为分析 　　 　　人体跟踪全景浏览的构建: 　　人体跟踪全景浏览不需要浏览者有刻意控制全景的动作,而是全景根据浏览者的一些很自然的动作相应地移动场景,使浏览者有真正身临其境的感觉。在整个浏览过程中由若干个摄像头去捕捉浏览者的动作(摄像头的个数由全景图片的长度决定),并确保这些摄像头的拍摄范围可以覆盖浏览者在浏览全景时的所有活动范围。 　　浏览者在浏览全景图时一般会做出以下动作:前进,后退,抬头,底头。 　　根据人体运行的习惯我们知道人在前进和后退时移动幅度比较大,而抬头底头的动作幅度相应比较小。人体跟踪全影浏览实时性要求比较高。简化识别,硬件架构,环境配置等都可以用来在保证运行准确度的前提下提高项目的实时性。 　　根据全景图的移动方式把浏览者的浏览方式分为两种: 　　1.横向浏览 　　横向浏览相应的动作是向前进及向后退,这部份实时性要求最高。因为浏览者的移动的速度是无法预估的,快速捕捉浏览者位置并依此判断全景场景的变化是关键。 　　我们注意到人体在走动时,肩膀以上的部位和人体重心的相对位置基本上是不变的。因而可以由肩以上部位的位置来判断人体的位置。为了准确地在摄像头所摄取的图像中定位人体肩膀以上部位,可以把展件放在一个纯白背景的环境中。故所取图像中除了人体外其余皆为纯白色,这给图像处理带来了很大的便利。对所得图片进行取轮廓处理,然后可以根据所得到的人体轮廓线及人体器官比例快速地计算出人体肩膀的大致位置。如图二。 　　图一中,从A,B各自最靠左的轮廓线中从上到下隔行取出N个点,相隔的行数应该递减。直观地就是越靠近肩膀取的点就越多,因为头部的灵活性比肩部大,这样可以缩小判断的误差。得到两组点横坐标A(a1,a2,a3…an),B(b1,b2,b3…bn)。由此得到平均位移S: 　　2.纵向浏览 　　纵向浏览由浏览者正视全景场景后的抬头及底头动作产生。关于人脸检测的研究国内外已做了不少也做了很久。本文直接使用Opencv中人脸检测的方法定位人脸位置(假设检测出的人脸中心点为O)。当浏览者脸转过来正对全景图时,将第一次捕捉到人脸的那帧(F)及人脸在图像中的位置存储起来。并提取出人脸的外轮廓信息。人在抬头或底头时脸的位置基本是不变的,这时我们要做的是从后续帧(S)中同一位置提取出同样的外轮廓信息,将F与S中的轮廓中取出若干个间断的点并计算出所取点的Shape Context,匹配找到帧F与帧S中取出的采样点的对应关系。把两批采样点放在同一坐标系内,每对对应点连成一个向量,再把所有向量做向量和,得到的结果向量的方向即是头的运动方向。 　　如图二,a为人脸的第一帧图像及人脸位置。红圆框内为对比区域(E),b为后续帧的图像。在区域E内分别取a,b的外轮廓,c即为a,b所取外轮廓的相对位置图。间断地取轮廓上的若干采样点,计算出Shape Context匹配点向量和并得到的结果向量。依此来判断头部动作,并控制全景的移动。 　　 　　三、基于Shape Context的图像匹配 　　 　　Shape Context由Belongie等人在[1]中首先提出。Shape Context是一个描述轮廓中的其他点与特定点的关系的描述符,这个关系的表述便是此特定点的Shape Context。可用若干个取自于图像轮廓(内轮廓或外轮廓)的间断点来标识图像,点的数量和点所处轮廓的位置可以任意。更加具体地讲,假设Pi为点集A(包含n个点)中的一个点,构造一个