一种基于时空结合的动态场景立体视频匹配方法.pdfVIP

第 17卷 第 6期 电路与系统学报 VO1．17 No．6 2012年 12月 JOURNALOFCIRCUITSAND SYSTEMS December，2012 文章编号：1007-0249(2012)06—0006—08 一 种基：5o-,i空结合的动态场景立体视频匹配方法 杜歆 ， 陈国赞 ， 朱云芳2 (1．浙江大学 信息与电子工程学系，浙江 杭州 310027：2．浙江工商大学 计算机与信息工程学院，浙江 杭州 310018) 摘要，提出了一种基于时空结合的动态场景立体视频匹配方法。通过对连续视频帧的仿射变换运动建模，建立连 续帧之间的时域联系，在颜色分割的基础上，根据重叠分割块在连续帧之间视差变化的平滑性约束，利用左右视图之 间的几何相关性对视差进行选择性优化，以克服在立体视频逐帧匹配过程中由于颜色分割块的不稳定而导致的误匹配 和视差跳变现象 ，使得最终获取的视差视频在 时间轴上更加准确稳定。实验结果表明，算法能有效降低视差视频的跳 变现象，对 由颜色分割引入的错误匹配也能进行很好的纠正，获取了较为准确 的视差视频结果 。 关键词 ：立体匹配，视差，仿射变换，时间一致性 中图分类号 ：TP391 文献标识码 ：A 1 引言 通过立体匹配求取视差信息进而进行三维重建一直是计算机视觉研究中的一大热点和难点。随着 3DTV 的兴起，获取的视差图不仅可用于三维建模、机器人导航等传统领域，更在立体视频编码、视 点合成等多个领域得到广泛应用。有许多学者致力于提高立体匹配的精度和效率，文献[1]对各种方法 进行了很好的综述，并在Middlebury网站L2J上提供 了立体匹配研究的最新进展和结果评测 。 传统的立体匹配算法一般 以双 目立体图像为研究对象，采用局部或者全局的匹配算法，通过选择 特定的代价函数，用不同的优化策略来求取视差。但随着立体匹配应用的深入，人们需要处理的对象 很多是立体视频，如在 3DTV中，通常要得到一段立体视频的视差结果。直接的做法是对立体视频的 各视频帧进行单独处理，逐帧地获取视差图。然而，由于立体匹配的困难性和视频中存在光照、噪声、 运动、纹理、遮挡等诸多因素的变化，视差结果往往不具有稳定性，表现为视差视频中出现的错误匹 配以及时间轴上出现的视差跳变的现象 J。应用这些含有错误匹配的视差结果的后果有时是严重的， 如为行进中的机器人提供了错误的障碍物信息，或者立体视频绘制中可能出现明显的瑕疵等。因此， 对于立体视频而言，不能仅仅关注于单帧视差图的准确性，还要求保证视差图序列在时间轴上的稳定 性 。 研究人员 已经开始关注时域稳定的视差视频的提取问题 。文献[4】提 出了时空结合的立体匹配 (spacetimestereo)，将单帧局部匹配的窗口扩展到时域，在视频序列中形成一个跨度为 的时域窗 口，以增加连续帧之间时域的相关性，通过运动建模来估计连续帧之间的视差变化。文献[5]假设同一 个颜色分割块中像素的视差相近，运动基本一致，以保证连续帧重叠分割块中视差的稳定性。文献[6] 使用单个相机，通过 SFM (structurefrommotion)的方法先估计出相机 内外参数，在此基础上进行各 视频帧之间的运动建模，用光束法平差 (bundleadjust)对视差视频进行迭代更新，得到了较为精确的 结果。但该算法的计算复杂度较高，且只能适用于静态场景视频的视差估计。文献 [7]利用同一场景中 连续帧图像之间视差分布的相似性，通过构造视差分布的似然函数来优化匹配代价，以降低连续帧视 差结果中的跳变现象。 为了建立不同时刻立体视频图像帧之间的联系，对其进行运动建模是一种可行的方法。一般而言， 相邻帧图像之间特征点的对应关系可以用基本矩阵来描述 】。为了求解简化以及保证求解的稳定性， 收稿 日期：2011—08—31 修订 日期：2011-10-08 基金项 目t国家 自然科学基金项 目 ；浙江省公益性技术应用研究计划项 目 (2010C3I108)；浙汀省 自然科学基金项 目 (LY】2F0】020) 第6期 杜歆等：一种基于时空结合的动态场景立体视频匹配方法 9 2)分割