计算摄像学专题第七讲.pptVIP

* * * * * * 基于环形采集系统，对于摄像机进行合理的排列分组，采集时刻及摄像机视角获得关系可见图。通过这种时空间插采样方式，得到一组稀疏的视频序列帧。对于每一个视角，采用双向光流法得到该视角未采集时刻的时间插值帧；对于每一个时刻，用已知视角采用可视外壳方法进行初步建模并渲染，将渲染后的模型投影到未知视角得到该视角的空间插值帧。然后通过时空联合优化，融合时间插值和空间插值结果的优点，得到轮廓和纹理信息均准确的完整帧序列。最后，在每个时刻上，利用所求得的所有视角图像采用鲁棒的多视角立体方法再次进行建模渲染，得到新的空间插值结果，再次进行时空联合优化融合。此过程迭代实现，最终完成高速动态的三维重建。在进行时空联合优化的过程中，本课题设计并实验了两种方法：基于SSIM的小波域图像融合以及基于Shape Context的融合。其中，基于Shape Context的融合方法在融合效果上更具优势。这两种办法均涉及小波域，尤其是方向冗余小波，其在办法实现中起到了核心作用。 * * * * * * * * * * * 摄像机阵列在使用前都必须经过严格的几何标定以备后续匹配和渲染等算法所使用。本系统的环形摄像机阵列同样需要标定以进行三维几何建模以及纹理帖图操作。多摄像机的几何标定一般分为三个步骤进行：角点提取、内参估计、外参估计。角点提取就是对场景中的标定物进行特征点提取，要求提取的角点鲁棒精确。在角点提取完成后，内参估计算法根据提取的角点估计摄像机的内参(焦距、法向点等)以及摄像机相对这些角点的位置关系。内参估计研究已经相当成熟，如Zhang的算法便是其中的最典型代表。外参的求解是根据每个摄像机与标定物的几何关系，求解各个摄像机之间的位置关系。对于环形摄像机阵列来说，存在的主要技术难点在于标定物一般不能被所有摄像机所见。本课题采用自动分组的快捷精确的外参求解方法来解决上述难题。 * 在计算机视觉中，基于多视角图像的很多应用，如光流和三维重建，精确的颜色并不是最重要的，最重要的是各摄像机之间的颜色一致性，从而方便进行精准的匹配。保证摄像机阵列中各摄像机之间的颜色一致性的操作就称为颜色校准。 虽然国际上已经存在一些针对大规模摄像机阵列的标准几何校准方法，但是很少有注意力在大规模摄像机阵列的颜色校准。一种普遍采用的方法是借助一块标准的颜色校准板调节摄像机的增益和白平衡。这种方法对于平面光场摄像机阵列是可行的，因为所有摄像机都可以同时看到校准板。但是，对于非平面摄像机阵列，只能对单个摄像机进行单独颜色校准，或者根据可见性，将摄像机分组校准。因此这种方法最多只能保证组内摄像机之间的颜色一致性，而不能保证所有摄像机的颜色一致性。 * * * * * * 基于SIFT局部描述子 + 基于区域的相关性进行两两视角间的匹配，将由匹配方法得到的所有成对匹配进行串连，得到M个N台摄像机之间的全局对应关系 * 基于相机间颜色一致性建立线性方程组 * 补充动态范围整形约束 * 在我们的系统中，我们使用的是Point Grey Flea2摄像机，这种摄像机最大的优点就是它的响应曲线是近似直线的，这使得用线性模型近似的误差尽可能最小。主要的调整量是增益、白平衡和亮度。在Point Grey Flea2摄像机的设置中，增益 和白平衡 是通过以上方法计算的增益参数设置的，而亮度 通过以上方法计算的偏移参数来设置。增益同时控制三个颜色通道的增益，白平衡控制三个颜色通道的相对增益，亮度来控制加性偏移。 * * * * * * 基于视频的三维运动跟踪可以分为两类：带标记和不带标记。带标记的方法准确，但是需要被捕捉动作者穿上带有标记的紧身衣服，这就限制了对形状和纹理的捕捉。Park等试图通过使用上百个光学标记来提取人体皮肤表面变形模型，他们的实验结果非常好，但是人工的一些标记、数据整理时间也是有目共睹的。其他的一些研究工作者通过在衣服上喷印特殊设计的图案来估计衣服的运动。但是，无论是附着在衣服上的标记还是印在衣服上的标记，都不能很方便地记录穿着随意衣服的人的任意运动。而无标记的运动跟踪方法则克服了以上的缺陷。一些方法，除了估计骨架关节参数外还需要通过轮廓约束或使用扫描模型来捕捉更多的人体细节，但是这些方法要求穿着紧身衣。虽然这种无标记的方法灵活性提高了，但是很难达到与带标记方法一样的精度。而且大多数这类方法通过提取运动学骨架来帮忙捕捉运动。运动学骨架只能跟踪刚体运动，所以，这种方法往往需要其他扫描技术来辅助捕捉变时的形状。然而，以上所有方法都不能跟踪穿着任意服饰人的运动。近年来，在计算机图形学中，新的动画捕捉与设计、动画编辑以及变形传递方法涌现出来。这些方法不再基于运动学骨架和运动参数而是基于表面模型和一般的形状变形方法，从而可以捕捉刚体以及非刚体的变形。但是，所有这种基于