OnlineTrackingofOutdoorLightingVariationsforAugmentedRealitywithMovingCameras..docVIP

摘要，在虚拟现实中，一个关键任务是在整个序列中有一个相干光照，虚拟物体和视频场景之间达到一种可信的视觉外观。 由于户外光照很大程度上取决于天气，帧和帧之间的光照条件可能会改变。 在本文中，针对 移动摄像机拍摄到的视频中室外光照变化的在线跟踪，我们提出了一个完全基于图像的方法。我们的主要思想是通过一个从每一帧提取出的稀疏平面特征点集，来估计太阳光和天空光的相对强度。通过引进一系列的约束条件来解决不可避免的特征偏移量。利用空间和时间相干性光照，太阳光和天空光的相对强度通过一个优化过程来估计。 1 Context and introduction 增强现实是一个有挑战性的任务，它需要在虚拟物体和真实场景之间达到视觉上的一致性，参数包括3D几何形状，材料性能和真实场景的光照。 增强现实的很多努力在摄像机的几何校正，直接从视频中提取参数，或者，或者从当今的移动设备中的，较少关注虚拟物体和真实场景之间的光照一致性问题。对于环境多变的室外场景，这一点是尤其重要的。没有光线变化跟踪，绘制虚拟物体和真实物体会产生不一致的光线变化。这一定会破坏系统的真实感，使用户意识到虚拟物体不是真实场景中的一部分。在本文中，我们集中于跟踪室外场景的光线变化。 现在，具有视频功能的手持设备都很方便。有利于增强现实应用的发展。这类应用程序必须考虑两个主要限制因素。 首先，视频的可视化，提高了用户的体验。处理过程是流水线（在线）方式，因此系统只能考虑前面的帧，基于整个视频序列的全局估计的方案是不行的。在线处理是实时处理的第一步。我们通过依赖一个稀疏组相关的像素，减少复杂性。我们尽量多的重复使用之前的帧，考虑帧到帧直接的连续性。 其次。视角是自由移动的，一些已经存在的算法 是来估计室外光照的，这些算法是固定视角的。在移动视角的情况下，特征点偏差是不可避免的，即使使用最先进的技术。此外，一些特征点可能进入或离开视锥，从一帧到另一帧。显然，对于移动视角，达到稳定是更有挑战的。 在本文中，我们专注于移动视角的 追踪室外光线变化。为了实现这个目的，我们提出一些假设。首先，我们相机校准和跟踪是在网上的另外一个进程中 完成的。其次，我们合理地假设，用户视频摄像头有接入一些信息，比如时间和GPS坐标信息。这样的信息极大的简化了整个过程。最后，我们假定，在初始化过程中，可能检测出一些平面表面，比如地面，建筑物表面。我们只跟踪每一帧的这样的平面片。值得注意的是，我们并不打算精确的重建室外光照，但足以达到我们的目的，由于光线，在真实物体和虚拟物体之间的变化是视觉一致的。 这些目标的实现是由于本文的下列贡献。 (1) 我们建立一个新的框架，基于一个最优化的过程，跟踪移动视角的室外视频的光线变化。据作者所知，在线跟踪移动视角的室外视频光照，没有公布的算法。 (2) 我们通过一个精心挑选的平面特征的稀疏阵列，估计光照，这使得跟踪更加高效和适于在线处理。 (3) 为了处理移动视角和产生的不一致的特征点，利用帧和帧之间的约束，帧是基于室外光线的观测特征。 这些贡献导致一个基于精简的特征点的稳定估计，算法使用未优化的Matlab几乎能实现实时处理。 2 previous work 太阳光和天空光都是远距离光，在从一帧中观察到的真实场景中，被认为是几乎不变的。光照的直接确定，可以通过在真实世界中放置光探头。光探头的使用能够精确的估计光的方向分布。但是，由于密集的采样点，同样导致了大量的计算成本。近期的工作表明，创建一个这样的动态环境地图和动态或者实时的采集。不幸的是，对于摄像机自由的移动，我们需要一个足够密集的makers，来保证至少每一帧中都有一个maker，可以采集到光强度。在本文中，我们直接从视频帧中估计光照，这样我们的系统不需要任何辅助设备。 估计光照参数是一个复杂的逆问题。假设光度校正是正确的，一个像素从几何，反射性和入射光照中直接计算光照强度。在受控环境中，进一步假设，允许恢复三个部分，BRDFs，3D几何和光照。它依赖于一个迭代优化过程来相继估计这两个组件。然而，室外环境是不受控制环境，通过假设3D几何形状的唯一知识，可以估算两个其他成分，是BRDFs和光照（例如光照位置和反射率）。只顾及光照，前面的工作一般假设一个已知的BRDFs和3D几何图形。基于这样的先验知识，通过计算阴影的强度变化,光照估计可能计算出。所有的以上技术都依赖于一个全3D重建或者密集3D信息。在我们的方法中，为了减少在线处理的难度，我们希望减少计算的样本数量。我们同样需要减少我们需要估计的信息数量。 近期，从图像和视屏中估计参数出现了两种趋势。第一种是基于延时的序列，Lalonde 等人提出了一个估计GPS坐标和摄像机参数的方法。这中方法是基于这样一种假设，在每一帧中