电子科大phd课程作业—增强现实中的跟踪技术及算法研究.docx

课题9：增强现实中的跟踪技术增强现实中的跟踪技术及算法研究1．研究现状及研究意义增强现实( Augmented Reality , 简称AR) 是近几十年来在虚拟现实(Virtual Reality , 即VR) 的基础上发展起来的一种新的计算机应用与人机交互技术。与 VR 用户完全“沉浸”在由计算机产生的虚拟环境中的情况不同，在AR中，既有虚拟场景，也有真实的环境，是将虚拟场景或信息准确叠加在真实环境中，构成一个虚实统一的联合体。因此，增强现实比虚拟现实更具挑战性，并具有更广泛的应用前景，同时也吸引着相关领域的众多学者的研究兴趣。在诸如显示、跟踪与配准、人机交互技术等众多关键技术中，虚、实场景的配准( Registration) 一直是一个至关重要的技术难点。要进行虚、实配准，就必须获取真实环境中的某些参照物在用户当前视场中的位置与朝向等相关信息，从而为虚拟场景的配准提供依据，这种位置与朝向信息的获取就是跟踪系统要完成的任务。增强现实对跟踪技术有很高的要求，包括准确性、实时性、稳定性、鲁棒性、可移动性等，因此增强现实中跟踪技术是一个很具挑战性的研究领域。近年来，基于计算机视觉及模式识别的跟踪方法日益得到人们的重视。对于 AR系统而言，本身就要用到计算机 (而且需要有较好的图像处理能力) ，有的系统本身也有摄像头 (如视频透视型AR系统)，所以基于视觉的跟踪技术所需要增加的系统硬件是非常少，容易实现。在AR研究中，基于视觉的跟踪系统一般采用“由内向外”的结构，根据其是否采用人造标记物 (Marker)，可划分为带标记跟踪与无标记跟踪两大类。在带标记跟踪技术中，通常在用户环境中感兴趣的目标或参照物表面放置一些标志，作为其识别标记，用户通过置于自己头部或肩上的摄像头采集图像，然后采用模式识别技术，识别出有关标记在图像中位置与朝向，并由此确定用户的位置或视点。由于对标记的识别较为简单、成熟，所以带标记跟踪AR系统应用较多。由于带标记跟踪需要预先放置标记，主要只适用于室内AR系统。无标记跟踪不使用专门的人造识别标记，而通过识别环境中的一些自然特征物，如门、窗、图案、建筑物、广告牌等，从而得到相应的位置与朝向信息。在带标记的跟踪系统中，由于标记是经过精心设计与布置的所以很容易被识别，且准确度相对较高。无标记跟踪系统中，特征物的识别相对较难，其位置也不一定恰到好处， 从而增加其计算的难度。但无标记跟踪对于一些不方便布置标记，特别是户外的AR 系统却是一种很有发展潜力的跟踪技术。由于其原理相对简单，实现方便，近年来在AR中应用较多。理论上讲，其跟踪精度可以达到象素级，具有较高的精度。特别是无标记的跟踪技术，被认为是户外AR系统较好的跟踪技术。目前限制基于视觉的跟踪技术真正实用化的主要原因还在于计算机视觉技术本身，由于其算法一般都比较复杂，且精度要求越高，计算量也越大，特别是对户外移动AR系统中，其算法及计算机的处理能力不一定能达到实时性的要求。此外，计算机视觉系统容易受到环境变化 (如光线、阻挡) 的影响。因此，高速有效的计算机视觉与图像生成算法是解决基于视觉跟踪在AR中实用性的一个重要研究领域。2. 基于视觉的增强现实技术的研究随着增强现实技术的迅猛发展，人们对基于视觉的增强现实技术进行了一系列研究，增强现实系统中虚拟物体与真实场景融合技术的研究涉及3D虚拟物体注册技术、摄机标定技术、摄像机的跟踪技术和基于视频的实景空间的建模技术，融合技术的研究主要包括虚拟对象和真实场景的配准以及虚拟物体与真实场景之间的动态一致性，包括虚实物体之间的几何一致性和光照一致性。增强现实系统的研究中，要解决的关键问题是AR系统中虚拟物体和真实场景之间的动态一致性和静态一致性。动态一致性技术包括真实场景实时绘制技术、虚拟物体和真实场景在实时跟踪过程中三维空间位置的一致性技术以及跟踪过程中虚实物体外观的一致性变化技术；静态的一致性研究包括虚拟物体和场景的外观一致性以及虚实物体在空间上的一致性，即虚拟物体注册的一致性研究。从具体的研究内容上看，在这方面从事的研究包括以下几个方面：三维注册技术、摄像机标定技术、摄像机跟踪技术、虚实光照的一致性以及AR实空间建模技术。2.1 三维注册技术在增强现实技术研究中，基于视觉的跟踪注册方法有基于图像特征的方法、分析目标运动特征的方法和寻找数字化图像的模板方法。目前增强现实系统研究中存在的主要问题是虚实注册问题，虚实注册问题研究的关键就是要明确虚实物体坐标系之间的转换关系，只有这样才能将虚拟物体正确地融合到真实场景中。虚实注册过程的大体步骤是：首先在真实场景中对摄像机的位置进行跟踪，获取相机的外部参数；然后利用标定技术，获取摄像机的内部参数，其中包括镜头的焦距，传感器像元的宽度、高度及高宽比；最后进行测量定位，在场景的三维空间中，