多视角重建技术介绍.pptVIP

多视角重建技术介绍 报告人：姚刚 目录 引言-概念和应用领域 原理-单视几何 原理-双视几何 三维重建 多视角重建 什么是多视角 应用-ITS 应用-Unmanned Aerial Vehicles 应用- Real-Time Virtual Object Insertion 应用- Real-Time Sports Coverage 应用- Image Based Modeling and Rendering 应用- Image Alignment, Mosaicing, and Morphing 单视几何 单视几何 双视几何 双视几何 双视几何 为什么需要求基本矩阵： 1、我们能得到的只是图像上的点 2、空间距离信息我们是无法知道的，也就是外参数无法知道 基本矩阵的计算算法：8点算法 模拟实验效果 重建前期工作 图像底层处理 摄像机内部参数标定 特征点提取 对应点匹配 传统三维重建过程 Step1：标定K Step2：图像底层处理，提取特征点，寻找匹配点对，估计基本矩阵F Step3：根据估计出的基本矩阵F和已标定的K可以构造投影矩阵P Step4：根据二维空间点，投影矩阵P可以计算得到三维空间点坐标 Step5：连接坐标点构成线框模型 Step6：图像渲染，得到真实感的图像 重建分类 重建算法 基于两幅图像的重建 实验效果 多视角重建 多视角重建-(2D-3D-2D) 多视角重建-(2D-2D) 重建效果 * * 参考书目：An introduction to 3d vision (MASKS) Input: Corresponding “features” in multiple perspective images. Output: Camera pose, calibration, scene structure representation. Rate: 10Hz; Accuracy: 5cm, 4o 投影矩阵： ：表示内部参数 ：表示外部参数 1)如果内部参数已经标定：由于CC’,Cu,C’u’ 三个向量共面，故有 ε称为本征矩阵 2)如果内部参数未标定： F称为基本矩阵 注：推导过程非常复杂，这里就不在讲解，可以参考相关文献 假设现在根据两幅图像上的对应点计算出了基本矩阵 F，则有： 当 n=8 时，可以线性求解 F。 数学模型： 求解上述模型的方法主要是通过对构造的矩阵A进行SVD分解来实现 而构造矩阵A又需要寻找两幅图像上的对应点，即立体匹配 *