增强现实虚实遮挡技术研究现状分析.docx

增强现实虚实遮挡技术研究现状分析 摘要：遮挡一致性就是要正确处理虚拟物体和真实环境的遮挡关系，该文重新梳理了近些年增强现实虚（AR）实遮挡的常用方法，主要有三维建模遮挡法、深度计算法、轮廓跟踪处理法和遮挡掩膜法，其中轮廓跟踪处理法是当前主流研究方法，最后介绍了AR虚实遮挡发展趋势。 关键词：增强现实；AR；虚实遮挡 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）27-0255-03 1 背景 遮挡一致性要求虚拟物体能够遮挡背景，也能被前景物体遮挡，具备正确的遮挡关系[1]。只有正确的处理虚拟物体在真实世界中的前后位置关系，才能使用户在实时的合成空间中正确感知虚实物体的层次关系。错误的虚实遮挡关系，容易造成感官上的空间位置错乱，不能达到超越现实的感官体验。随着AR研究领域细化发展，在解决AR虚实遮挡方面，目前主要有三种解决方法。 2 三维建模遮挡法 当虚拟物体遮挡真实场景时，虚拟物体在纵深层次上处在实拍背景的前面，在进行虚实物体视频融合时不需要做特殊的处理。但是，若要实现真实物体作为前景出现在虚拟物体的前方时，就需要对真实物体遮挡虚拟物体的部分进行计算和转化，转换为虚拟物体与虚拟物体之间的遮挡判断。这种三维建模遮挡法省去了虚实物体深度值的计算，适用于真实场景简单的环境。 三维建模遮挡法是虚实遮挡研究早期的主流研究方法，代表人物有Breen、Whitaker等人。后来，出现了三维模型缓存技术，先把场景中的多个深度值不同的三维模型缓存起来，在和虚拟物体遮挡时，进行深度信息值比对，以此实现虚实物体的正确遮挡关系。 对于三维建模遮挡法来说，需要运用立体视觉方法或者使用专门的测距设备获取会与虚拟物体发生遮挡关系的真实物体的深度图，然后对深度图通过数据去噪、精简、配准、融合和网格化等步骤，得到精确的三维模型。三维模型大部分是由三角面片组成，在进行虚实物体融合时，剔除不可见的三角面片。俞文炯[2]对三角面片遮挡法进行了改进，只选取物体标志物中心坐标点的深度信息与虚拟模型相比较，只要存在中心坐标点深度信息小于虚拟模型的情况，则表示真实物体有部分或全部在虚拟物体前方，需建立虚拟模型，否则进入场景融合阶段。虚拟物体的三角面片顶点数少时，在进行虚实融合处理因计算量小实时性较好。 3 深度计算法 从目前的研究文献来看，在遮挡物深度的计算上，主要有单目摄像机和双目摄像机2种视频采集设备。双目摄像机要求2个摄像头的内置参数一致，空间某点P（x，y，z）在两个摄像头中分别投射两个点Pl（xl，yl）， Pr（xr，yr）。这三个点组成一个三角平面，利用公式Z=fB/（ xl- xr）求出空间点P相对摄像机成像平面的深度值。其中f是摄像机的焦距，B是基线长度，B与摄像机焦距有关，利用立体视觉和三角几何图形学原理间接计算而来，xl、xr是成像点在三角平面上的坐标点，Z是空间点P的深度值。通俗地说，双目摄像机主要是利用同一空间点P在两个摄像机成像平面上的视点差而计算出来P的深度值的[3]。Yokoya[4]采用双目摄像机分别获取两幅图像，对两幅图像中像素进行逐点比较，比较同一像素点在两幅图像中的位置差来计算该点的深度值。但这种方法无法对虚实物体的边缘进行精确的区分。后来H.Kim引入权重引子和Candy边缘检测算法改进了Yokoya算法，获得良好效果。Schmidt[5]等人通过计算立体图像对的视差图的方法比较虚实物体像素深度值，当虚拟物体遮挡真实物体时不能正确显示遮挡关系。Lu和Smith[6]基于GPU的分割算法虚拟物体遮挡区域，并进行深度值提取，但不能实现精确的虚实遮挡。Wloka 等[7]提出了快速立体匹配算法，采用低于原图像一倍的分辨率计算场景深度值，有效地提高了处理速度，但是准确率较低。Ryu[8]改进了Wloka算法，先用低分辨率方法定虚实遮挡区域，然后恢复到原始分辨率。这些方法共同点是在整幅图像范围内计算场景的深度值，因计算量大而实时性差。 单目摄像机只有一个摄像头，识别空间点P的深度值，主要是在P点出贴标识物的方法实现的，遮挡物的深度信息就等于标识物的深度信息。由于摄像机坐标系、屏幕二维坐标系、现实世界坐标系存在空间差异，故需要对三者坐标系进行转换，统一到一个坐标系参照下，才能计算出遮挡物的深度值。ARToolKit增强现实工具包是有一套支撑虚拟现实开发的函数库，AR ToolKit通过找到标记，计算已知标记相对于摄像机的空间位置（深度值）和姿态。 4 轮廓跟踪处理法 虚实物体发生遮挡关系的区域通常是局部的，也可能是动态变化的。一些学者从基于轮廓提取的视频压缩方法中得到提示，仅提取并计算发生遮挡关系的区域的深度值，这便出现了近些年各种各样的轮廓跟踪处理法，大幅减少了深度值计算区域，减少了运算负荷，一定程度上提升了