多视目标重构的键技术研究.pdf

摘 要 摘 要 多视目标重构是计算机视觉的研究热点与难点，在 3D 视频、虚拟现实、数 字城市、文物保护等领域具有广泛的应用前景。按照重构所需要的特征，多视目 标重构算法主要分为可见外壳构造和多目立体重构。前者可以快速获得目标的粗 糙 3D 形状，但不能恢复目标表面凹陷区域的形状，当前存在的问题是构造算法 需要预知目标包围盒的大小；后者可以得到目标的精确 3D 形状，解决了可见外 壳不能恢复凹陷区域形状的问题，但重构结果的完整度仍有待于进一步提高。当 前多视目标重构方法都是针对 3D 形状的获取，很少考虑目标表面颜色的恢复问 题。MPEG4 开创了基于对象的压缩编码技术，用轮廓、纹理等表示视频内容。 虽然 MPEG4 也支持用 3D 模型表示编码对象，但局限于特定目标的视频，需要 事先为目标建立复杂的 3D 模型。实际上某些特定场景的视频对象可以用多视目 标重构方法获得的 3D 模型进行表示和压缩编码。 针对上述问题，本文主要探讨多视目标重构中的两个关键技术，即 3D 形状 重构和表面颜色恢复；在此基础上探索多视目标重构技术在视频编码中的应用， 设计了基于 3D 参数的视频对象编解码方案。文章的主要工作和创新如下： 1) 为探索新的低码率视频编码方法，提出基于 3D 参数的视频对象编码方 案。利用多视目标重构得到的 3D 形状、摄像机参数、顶点颜色或纹理 图像表示目标，经过压缩后进行传输。解码端从压缩码流中恢复 3D 模 型、摄像机参数、顶点颜色或纹理图像后，根据摄像机参数将经过顶点 着色或纹理映射的 3D 模型重新投影到原始拍摄视点下从而恢复原始视 频对象。实验结果表明，在相同的低码率下，这种编码方法的 PSNR 比 H.264 提高了 2dB ；同时可以实现比H.264 更低的码率。 2) 提出融合通用处理器和图形处理器的参数解码器的硬件架构设计，用于 3D 参数视频编码器输出码流的解码。通用处理器负责参数的解码，图形 处理器将解压后的 3D 模型重新投影到原始拍摄视点下以还原原始视频 对象。由于采用了通用处理器，因此可支持任意的参数编码方案。FPGA 验证结果表明，设计的电路可以实现参数的正确解码和显示。 3) 针对 3D 形状重构，提出无需包围盒的可见外壳构造算法和基于图切割 的多目立体重构算法。前者可以在不知道目标包围盒大小的情况下快速 获得目标的粗糙 3D 形状；后者将可见外壳构造和多目立体匹配相结合， 通过图切割算法得到目标的精确 3D 形状。美国 Middlebury 学院的 3D 重构公共评测网站的评价结果表明，在准确性比较阈值和完整性比较阈 I 摘 要 值分别为 90%和 2.0mm 的情况下，本文算法的完整度最高可以达到 99.5% 。 4) 针对目标表面颜色恢复问题，利用马尔科夫随机场模型建立 3D 模型顶 点和视点间的最佳对应关系，并考虑到相邻顶点间的影响，从而可以在 恢复真实感表面颜色的同时抑制不同视图颜色差异带来的接缝现象。实 验结果表明，与现有主流方法相比，本文方法的接缝抑制效果更有效， 同时构造的纹理图像更加节省存储空间。 关键词：3D 视频 多视 3D 重构 视频编解码 II ABSTRACT ABSTRACT Being the focus and difficulty of the computer vision research, multi-view object reconstruct