基于信息融合的视频对象分割方法综述.docVIP

1- 基于信息融合的视频对象分割方法综述 1 蔡晓惠 1 ，郑慧诚 1 ，陆哲明 2 1 中山大学信息科学与技术学院，广州（510275) 2 浙江大学航空航天学院航天电子工程研究所，杭州（310027) Email: zhenghch@mail.sysu.edu.cn 摘 要: 视频对象分割是视频检索、视频存储与传输以及视频压缩编码的基础部分之一。由 于视频对象分割中的各种复杂因素，现有方法往往是针对特定应用场合或约束条件提出的。 基于信息融合的分割方法通过将各方面的信息结合起来，实现优势互补的视频对象分割。本 文从空域信息、时域信息及变换域信息融合的角度出发，在介绍和分析一些相关代表性工作 的基础上综述基于信息融合的视频对象分割方法的研究现状，最后进一步展望基于信息融合 的视频对象分割的研究趋势。 关键词: 视频对象分割；信息融合；多摄像机融合 中图分类号: TP391.41 1 引言 视频对象分割是将视频分割为一些不同语义的对象区域，如运动前景与背景，是视频分 析和处理的基础之一。随着日常工作和生活中视频内容的极大丰富以及 MPEG-4 和 MPEG-7 等视频编码标准的推广和应用，视频对象分割算法已经成为多媒体领域的研究热点。在视频 监控中也有极其广泛应用，包括人特征检测与识别、人群流量统计与拥塞分析、异常检测与 报警、多摄像机的交互监控等 [1] 。人们对视频对象的提取问题越来越感兴趣，许多研究者针 对不同的场景提出了各种有效的视频对象分割算法。视频对象分割的困难性在于视频对象及 场景的复杂性与多样性，很难找到一个通用的有效方法，往往需要针对具体问题设计或选择 特定算法。近年一种逐渐受到关注的方法是通过融合多种不同类型的信息实现鲁棒高效的视 频分析。 信息融合 [2] 是对处理对象进行多方面的、多角度的全面分析，得到代表不同特征的有效 信息。在分割的过程中有效地融合视频对象的时间信息、颜色信息、纹理信息和空间信息， 局部信息和全局信息，选取优势互补的多种分割算法，最终有效地提取视频对象。欧洲著名 的 COST 电信联盟组织中的 COST 211 小组正集中构造一个视频分割框架，称 Analysis Model (AM) [3] 。AM 的基本特征是对不同的分割方法进行测试、比较和优化，最后通过融合不同分 割方法得到最好的分割效果。在第 41 届国际运动图像专家组(MPEG)会议上 [4] ，一个时空联 合分割方案被采纳为 MPEG-4 的自动视频对象平面（Video Object Plane，VOP）产生工具。 基于信息融合的视频对象分割方法一般框架如图 1 所示。本文将分别从时域与空域信息 融合，空域内多种信息融合，空域与变换域信息融合的角度介绍和分析现有的基于信息融合 的视频对象分割方法。基于信息融合的视频对象分割有两个关键：第一，选取能优势互补的不同信息源和相应分割算法；第二，设计不同信息的有效融合准则，最终在此基础上有效提 取视频对象。本文的结构安排如下：第 2 节介绍传统的视频对象分割算法；第 3、4、5 节分 别介绍了基于时空信息融合、基于空域内不同类型信息融合、空域与变换域信息融合的视频 对象分割算法；第 6 节介绍基于多摄像机的信息融合方法；第 7 节总结全文。 1 本课题得到教育部留学回国人员科研启动基金、高等学校博士学科点专项科研新教师基金 （200805581005）、广东高校优秀青年创新人才培育项目和中山大学青年教师科研启动基金 （2007-35000-3171910）的资助。 -2- Frame Temporal Segmentation: Background Subtraction, Difference Frame, Motion Compensation, Optical Flow Spatial Segmentation: Histogram, Feature Cluster, Edge Detection, Region Segmentation Frequency Segmentation: Fourier Transform, Wavelet Transform Information Fusion Segmentation Post Processing Extracted Moving Object 图 1 基于信息融合的分割方法框架 Fig.1 Framework of segmentation based on information fusion 2 传统的分割方法 一般视频对象分割所依据的信息包括时域、空域或变换域信息。传统的分割算法往往 只从单一方面考虑，针对特定的场景提出适合的分割算法，因此算法也具有较多的局限性。 下面先分别介绍基于时域、基于空域