基于图像序列的建筑物模型重建技术研究与实现 - Image Based Rendering.ppt

基于图像序列的建筑物模型重建技术研究与实现 答 辩 人：刘 培 珺 指导教师：石 教 英 教授 浙江大学CADCG国家重点实验室 研究背景 随着计算机性能的不断提高和计算机技术的不断发展，真实场景的 三维模型越来越多地出现在各种计算机软件中，成为计算机软件表现现 实世界的一种重要手段。而构造三维模型的传统手段要么价格昂贵，要 么要求操作人员具有丰富的专业知识，而且操作复杂，周期较长，最终 构造的三维模型真实感不强。在这种情况下，基于图像的建模技术作为 一种成本低廉、操作简单、具有高度真实感的建模方法应运而生，并且 逐渐成为计算机图形学和计算机视觉领域的研究热点。 相关工作 几种基于图像建模技术比较 研究目标 研究一种针对建筑物的基于图像建模方法； 要求能够重建出建筑物的平面，以及简单曲面； 当输入是单幅图像，或几幅图像时，要能够从中重建建筑物的局部模型； 当输入是完整的图像序列时，要能够重建建筑物的完整模型； 允许少量的交互操作。 算法流程 主要内容 1. 相机定标 2. 基于单幅图像建模技术 3. 多场景模型合并策略 4. SIBM系统实现及示例 5. 总结与展望 第一部分：相机定标 利用平面约束求解相机内参数 利用反对称性质改进算法 改进算法实验结果（一） 改进算法实验结果（二） 利用真实场景中的几何结构求解相机参数 整个结构至少有4条线段构成； 其中3条线段互相垂直； 第4条线段平行于前3条中的1条。 从单幅图像计算相机焦距 求解旋转矩阵和平移向量 利用单幅图像优化相机参数 利用两幅图像优化相机参数 利用两幅图像优化相机参数 实验结果 误差统计：理想情况下图像上的点应该恰好位于对应的极线之上，但是由于计算误差，图像点和对应的极线之间会有一定的距离，距离的大小可以用来间接衡量计算误差的大小： 第二部分：基于单幅图像建模 基于单幅图像建模 平面的重建 提取基平面，确定基平面的位置和法向量； 对于一个与基平面相邻的未知平面，指定公共边上的一点作为未知平面的基点； 求解未知平面的法向量； 递归求解其它未知平面，直到场景中所有平面重建完毕。 平面法向量计算 平面重建示例 扫描曲面分解重建 重建示例 重建示例 第三部分：多场景模型合并策略 模型合并 多场景模型合并策略 模型合并过程中存在的主要问题 如何把所有的局部模型转换到统一的世界坐标系中? 模型合并：比例变换，顶点合并如何解决？ 如何去除重合平面？ 建立公共坐标系链表 坐标转换 模型比例变换 坐标转换效果 顶点合并 点合并具体步骤 1. 搜索求解阈值a； 2. 求解当前场景与前面场景之间的基础矩阵； 3. 搜索构成场景模型的平面外轮廓点，对于每一个点，求解该点在前面图像中的极线，根据点到极线的距离和三维点之间的距离，在前面的图像中搜索起对应匹配点并做记录； 4. 将搜索到的匹配点的三维坐标求平均值。 点合并效果 模型合拢 1. 求解最后一幅图像和第一幅图像对应场景之间的旋转矩阵； 2. 求解最后一幅图像和第一幅图像对应场景之间的平移向量； 3. 求解基础矩阵fm； 4. 对于第一幅图像中所有平面外轮廓点，求解其在最后一幅图像上对应的匹配点。 匹配唯一性约束 共面匹配唯一性约束 模型合拢效果 重建茶叶盒完整模型示例 第四部分：SIBM系统实现及示例 系统模块划分 实验结果1: 图像序列 实验结果1：重建模型 实验结果2：图像序列 实验结果2：重建模型 第五部分：总结与展望 本文内容总结 相机定标。利用平面约束中的反对称性改进了Gang Xu的相机自定标算法；同时利用真实场景中普遍存在的几何结构提出了新的相机自定标算法，避免了临界运动序列可能导致的相机自定标退化问题。 基于单幅图像的交互式建模。本文的基于单幅图像的交互式建模以平面或圆柱面为重建单元，通过递归求解场景中所有的平面或圆柱面达到整个场景模型重建的目的。 多场景模型合并策略。本文提出的多场景模型合并算法分为建立场景公共坐标系链表、坐标转换、顶点合并、模型合拢、面合并等几部分。 未来工作展望 基于图像的曲面重建。如何处理更为复杂的回转面或自由曲面，并把它们融合到我们的方法中来，以减小对模型形状的限制是一个值得研究的课题。 提高建模质量。 提高建模质量要从提高相机定标精度、增加建模中的约束、以及增强纹理映射的质量入手。 减少交互操作，提高自动化。 着眼于应用。 三场景模型示例 三场景合并过程 两相邻场景之间的结构坐标系 多场景公共坐标系链式结构 1. 模型比例变换 2. 场景内的模型坐标转换 3. 场景间的模型坐标转换 1. 极线约束：极线约束就是一幅图像中 的点在其相邻图像中的匹配点一定在该 点对应的极线上。极线约束在图像对的 特征