增强现实中虚实遮挡技术研究现状.docVIP

增强现实中虚实遮挡技术研究现状 　　摘要：增强现实是一种将虚拟现实技术运用在真实坏境上的新技术，其中虚拟物体和真实物体遮挡关系的正确表现对提高用户的真实感起到了关键的作用。概述了增强现实中虚实遮挡技术的发展历程，从基于深度计算和三维重建2个方向介绍了国内外研究者对虚实遮挡处理的研究，其中详细介绍了基于深度计算的方法，针对遮挡物获取、深度恢复和剔除效果处理3个主要步骤，分别对其基本原理和相关改进进行了说明。得到解决虚实遮挡问题的一般流程，并从2种角度对比了各种算法的优缺点。最后对虚实遮挡技术的发展给出了总结和建议。 　　关键词：增强现实；虚实遮挡；三维重建；几何一致性 　　中图分类号：TP391.41文献标识码：A文章编号：1005-3824（2013）05-0034-04 　　0引言 　　增强现实[1]（augmented reality， AR）是虚拟现实技术的一个发展分支，与虚拟现实不同，它借助计算机图像处理技术和虚拟现实技术将计算机生成的虚拟信息和图像采集装置（摄像机）捕获的真实自然场景叠加到一起，从而增强了用户对自然环境的感受。它的应用领域囊括了医疗、工业制造维修、娱乐和军事等。 　　如果画面中真实物体和虚拟物体之间的遮挡关系不正确，不仅会使用户出现位置上的判断错误，而且会出现视觉疲劳，甚至在一些重要的领域会导致严重的后果。如图1a所示，当瓶子出现在虚拟茶壶前面时，错误的遮挡关系会让人觉得瓶子在茶壶的后方，而b才是正确的显示效果。所以虚实遮挡对于提高增强现实的真实感起到了很重要的作用，同时它也是增强现实中的热点和难点问题。 　　1虚实遮挡算法的发展概述 　　在早期的增强现实中，真实场景都是作为虚拟物体的背景而出现的，所以无论真实场景中的遮挡物体怎么移动，它都出现在虚拟物体的后面。随着相关技术（如图形图像技术，三维渲染技术等）的不断发展，研究人员开始从各个角度来解决虚实遮挡的问题。总体来说这些方法分为基于三维重建和基于深度计算。 　　1.1基于三维重建的方法 　　基于三维重建的方法都是建立在对真实场景充分了解的基础上，其中Fuhrmann[2]提出了一种基于经验的三维重建方法，他充分采集真实环境的信息，包括深度信息，放置位置，大小形状等，然后对真实物体进行建模，因为真实物体的各种属性都是已知的，避免了各种计算过程，所以处理速度较快，但是由于前期建模难度较大，所以只适用于比较简单的场景，而且也不能用于动态坏境中。另外，Wloka[3]通过双目视觉技术来对真实物体进行三维建模来解决遮挡问题，简单说就是标定摄像机，然后利用2个二维图像的信息进行三维重建。 　　由于基于三维重建的方式都要对真实物体进行模型建立工作，所以当真实物体较为复杂的时候，建模过程就变得异常复杂，这也限制了基于三维重建方法在虚实遮挡中的应用，不过这类方法最大的优点是可以处理产生形变的物体（非刚性物体），总之三维重建的方法只适用于简单静态的环境，如果场景太复杂，计算会过大而影响到了系统的实时性。 　　1.2基于深度计算的方法 　　与基于三维重建时需要事前做大量的建模工作不同，基于深度计算的算法不需要事先采集遮挡物的详细信息，可以在应用中动态的捕获未知遮挡物。所以这类方法的关键是如何获取遮挡物轮廓和恢复遮挡物深度信息。 　　1.2.1遮挡物获取 　　Stricker[4]等首先采用图像处理的相关技术，将遮挡物放置于纯色环境中，然后用图像裁剪算法获取遮挡物，此方法对场景要求太过特殊但相对于模型重建却改进了不少，此后不断有研究者改善裁剪算法，以便能在更复杂的环境下获取遮挡物，如Jurriaan[5]利用背景裁剪的技术获取遮挡物，如图2所示，a图是当前图片，b图是预记录的背景图片，2种图片裁剪后就得到了遮挡物的图像，Mulder[6]对视频流中相邻的帧进行裁剪，也获取到了运动的遮挡物，此后不少学者继续对该类方法进行优化和改进，但是这类方法都要求在一个固定的场景中进行。 　　此外，也有学者提出从另一个角度来获取遮挡物。Berger[7]等首先利用单目视觉技术来提取遮挡物的轮廓并恢复出遮挡面，康波[8]和俞文炯[9]等利用在遮挡物表面贴标识物和预定义遮挡物顶点的方式快速找到遮挡物轮廓。这类方法都采用了单目视觉技术来识别和跟踪遮挡物，这类方法的缺点是只能将遮挡物看成一个平面物体，在视角变化的时候，由于遮挡物形态发生变化，所以在处理非刚性遮挡物方面存在很大的缺点。作者在另一篇论文中提出的根据摄像机姿态动态变化遮挡物匹配特征能有效解决这类方法的缺点。图3为康波等人采用标识提取遮挡物算法的示意图。 　　1.2.2深度恢复 　　从目前的研究文献来看，在计算遮挡物深度上，研究者根据不同的摄像机类型采用不同的算法，下面将从双目摄像机和单目摄像机2种视频采集装备上说明与之相应的算法。