一文看懂AR技术原理.docx

增强现实（AugmentedReality，简称AR）是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，最早于1990年提出。包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段，它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强。

AR技术原理

AR从其技术手段和表现形式上，可以明确分为大约两类，一是VisionbasedAR，即基于计算机视觉的AR，二是LBSbasedAR，即基于地理位置信息的AR。?

VisionbasedAR

基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系，使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上，如何做到这一点呢？

本质上来讲就是要找到现实场景中的一个依附平面，然后再将这个3维场景下的平面映射到我们2维屏幕上，然后再在这个平面上绘制你想要展现的图形，从技术实现手段上可以?分为2类?：

1、Marker-BasedAR

这种实现方法需要一个事先制作好的Marker(例如:绘制着一定规格形状的模板卡片或者二维码），然后把Marker放到现实中的一个位置上，相当于确定了一个现实场景中的平面。

然后通过摄像头对Marker进行识别和姿态评估（PoseEstimation），并确定其位置，然后将该Marker中心为原点的坐标系称为MarkerCoordinates即模板坐标系。

我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系，这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果。

理解其原理需要一点3D射影几何的知识，从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系（CameraCoordinates）然后再从摄像机坐标系映射到屏幕坐标系。

在实际的编码中，所有这些变换都是一个矩阵，在线性代数中矩阵代表一个变换，对坐标进行矩阵左乘便是一个线性变换（对于平移这种非线性变换，可以采用齐次坐标来进行矩阵运算）。公式如下：

矩阵C的学名叫摄像机内参矩阵，矩阵Tm叫摄像机外参矩阵，其中内参矩阵是需要事先进行摄像机标定得到的，而外参矩阵是未知的，需要我们根据屏幕坐标(xc,yc)和事先定义好的Marker坐标系以及内参矩阵来估计Tm，然后绘制图形的时候根据Tm来绘制（初始估计的Tm不够精确，还需要使用非线性最小二乘进行迭代寻优）。

比如使用OpenGL绘制的时候就要在GL_MODELVIEW的模式下加载Tm矩阵来进行图形显示。

2、Marker-LessAR

基本原理与MarkerbasedAR相同，不过它可以用任何具有足够特征点的物体(例如：书的封面)作为平面基准，而不需要事先制作特殊的模板。摆脱了模板对AR应用的束缚。它的原理是通过一系列算法(如：SURF，ORB，FERN等)对模板物体提取特征点，并记录或者学习这些特征点。

当摄像头扫描周围场景，会提取周围场景的特征点并与记录的模板物体的特征点进行比对，如果扫描到的特征点和模板特征点匹配数量超过阈值，则认为扫描到该模板，然后根据对应的特征点坐标估计Tm矩阵，之后再根据Tm进行图形绘制(方法与Marker-BasedAR类似)。

LBS-BasedAR

其基本原理是通过GPS获取用户的地理位置，然后从某些数据源（比如wiki，google）等处获取该位置附近物体(如周围的餐馆，银行，学校等)的POI信息，再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度，通过这些信息建立目标物体在现实场景中的平面基准(相当于marker)，之后坐标变换显示等的原理与Marker-BasedAR类似。

这种AR技术利用设备的GPS功能及传感器来实现，摆脱了应用对Marker的依赖，用户体验方面要比Marker-BasedAR更好。

而且由于不用实时识别Marker姿态和计算特征点，性能方面也好于Marker-BasedAR和Marker-LessAR，因此对比Marker-BasedAR和Marker-LessAR，LBS-BasedAR可以更好的应用到移动设备上。

AR增强现实系统组成

1、Monitor-based系统

在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器。

用户从屏幕上看到最终的增强场景图片。它虽然不能带给用户多少沉浸感，但却是一套最简单使用的AR实现方案。由于这套方案的硬件要求很低，因此被实验室中的AR系统研究者们大量采用。

2、Videosee-through系统

头盔式显示器（