基于视差插值与相似度的多视点视差估计算法.pdfVIP

基于视差插值与相似度的多视点视差估计算法 郁梅1’2董海涛1蒋刚毅1,2 1(宁波大学电路与系统研究所，浙江宁波，315211) 2(南京大学软件新技术国家荤点实验室，江苏南京，210093) 摘要：多视点视差估计是多视点视频系统中的关键技术之一．它能有效消除各个视点间的冗 余性。但是多视点视差估计的计算复杂度非常高，是限制多视．占、视频系统应用的一个瓶颈，本 文针对多视点视差估计巨大的计算量，提出了一种基于视差插值与相似度函数的多视点视差估 计快速算法，实验证明本算法能在保证编码质量的前提下，大大减少视差估计计算复杂度，提 高多视点编码系统性能。 关键词：参考视点；视差估计；视差插值；相似度函数 1．引言 自由视点视频能提供交互式操作功能和画面的深度感，并可根据使用者的喜好自由选 择和操作视听对象。随着多媒体技术的不断发展进步，自由视点视频技术将成为未来视频 技术的重要组成部分。多视点视频技术是自由视点视频技术中的一个核心环节，也是现在 自由视点视频应用的一个瓶颈，MPEG组织已经在3DAV(三维音视频)中对多视点视频 标准进行了探索研究…。 视差估计是多视点视频编码中的关键技术之一uj，Kimata等人提出多参考视点方法进 行视差估计以改善编码效果9Ⅲ，但是该方法在视差估计重需要搜索多个参考视点，导致计 算量成倍上升，大大增加了编码器的负担。Wang等人对多视点视频处理采用了在自然场 景中提取视频对象方法∞J，虽然同时解决了多视点视频压缩和虚拟视点建立的问题，但同 样计算量巨大，同时这种技术在实际视频编码系统中的应用还不成熟，提取视频对象还存 在一定问题。Chien等人提出了混合二步的视差估计方法在一定程度上减少了计算量【。J， Wang也提出了基于最小冗余预测的快速视差估计方法”J，但是这两种算法应用于多视点视 频系统其编码效率还是无法满足要求。本文提出了一种基于视差插值与相似度判断的多视 点视差估计快速算法。相较于传统多视点视差估计方法，在保证视差估计的精度和编码效 率上，本文算法大大降低了计算复杂度，能够满足多视点视频编码器的实时应用要求。最 后实验证明本算法在多视点视频处理中是有效的。 2．基于视差插值的快速视差估计算法 多视点编码系统存在着多个视点，选取合适的参考视点对整个编码系统而言是十分重 要的。直观的方法就是同立体编码系统一样选取一个视点作为参考视点，其他视点作为目 2003A61001、2004A610001、2004A630002)浙汀省科拄攻关项目(2004C31105) com 联系作者：蒋刚毅，宁波大学信息学院教授、中科院计算所兼职博导，E-mail：Jianggangyi@126 rv多媒体信号处理 279 标视点进行视差估计‘”。也可以采用多个参考视点来进行视差估计，该方法能够提高视差 估计精度，但该系统结构复杂、计算复杂度随着参考视点数目的增加而成倍上升，不利于 实时处理和应用。在我们已完成的基于多视点编码实验显示，用2个参考视点得到的信息 能够满足系统编码的要求。本文提出一种基于视差插值的多视点视差估计快速算法，在保 存编码质量基本不变的前提F，明显降低多视点视差估计的计算复杂度。 2．1多视点视差插值 多视点视差估计需要对每个目标视点进行全视 差估计，而且每个目标视点都需要对多个参考视点进 行全搜索，这样进行一次视差估计需要进行全搜索 k×M(女为目标视点个数，为参考视点个数)次， 这样大的计算量对现在的实时硬件水平而言是不能 接受的。 图1给出了多视点视差插值的原理图。两个摄像 机Q和G的坐标轴相互平行，且x轴重合，摄像机 之间在x轴方向上的间距为基线距离B，F是焦距。 图】视差插值原理图 在这个模型中，同。点P在两个摄像机图像平面上的成像位置是不同。假设场景点P距相 平面为z。在左、右图像平面中的投影点分别为R和只，若以左图像为参考，则P点的视 口F Z 差为：d皿=x，一Xt=二。中间相机C到左相机的距离为x，若不存在遮挡与暴露现象，