MPEG-2压缩域近似光流场生成.pdfVIP

MPEG-2 压缩域近似光流场的生成1 陈薇薇，杨高波，周启亚 湖南大学计算机与通信学院，长沙（410082 ） E-mail：vivichen83@ 摘 要：本文利用MPEG-2 视频流易于得到的信息—运动矢量和DCT 系数，特别是AC 系 数，提出了一种MPEG-2 压缩域近似光流场生成的算法。首先对运动矢量进行处理，估计P 帧和B 帧DCT 系数，重建DC+2AC 图像，再利用Black 的光流场估计算法对光流场进行初 步的估计，最后利用可信度方法保留高可信度的运动估计，生成运动物体边缘光流场。试验 结果表明，它有效地解决了光流场估计中存在的孔径问题，为视频运动对象的分割提供好的 运动分析基础。 关键词：MPEG-2 压缩域，DC+2AC 图像，光流场估计，可信度方法，孔径问题 中图分类号：TN919.8 1. 引言 目前，基于压缩域的视频运动对象分割是视频信息处理领域的研究热点之一。相对于像 素域视频对象分割，由于运动信息可以由压缩后视频流每个宏块的运动矢量直接得到，它有 助于实时地提取出感兴趣的视频对象。然而，在分割精度上压缩域视频对象分割低于像素域。 原因在于：运动矢量虽然易于从视频流中得到，但每个宏块仅有一个，远比像素域每个像素 具有一个运动矢量的光流场要稀疏得多，利用这些不完全的运动信息难以准确地提取运动对 象。因此，运动矢量的致密化和准确化，即从视频流的运动矢量得到近似的光流场，是提高 压缩域视频对象分割算法精度的关键。同时，它在视频流的运动分析，包括镜头分割，字符 检测和识别等应用中具有重要的应用价值。 Black和Anandan[1]在引入空间平滑性限制条件的基础上采用鲁棒统计(robust statistics)， 当有小部分的数据和实际的模型产生很大偏移的时候，不会使估计的结果远离真实的光流。 Coimbra和Davies[2]提出了一种MPEG-2压缩域逼迫光流场的方法，它对运动矢量和DCT系数 进行滤波处理，然后在二维平移运动模型的基础上得到运动场，并与像素域的光流场计算方 法，特别是Lucas-Kanade[3] 的方法进行了比较。它具有计算量小的优点，但由于采用的是简 单的2D平移运动模型，在视频背景比较复杂，特别是存在全局运动时效果不好。龙隽永等[4] 提出了一种压缩域光流场估计算法。首先，利用DCT变换后的两个AC系数估计图像的空间 偏导数，并利用预测残差以及运动矢量对图像的时间偏导数进行估计。其次，对编码过程中 未进行前向运动预测的宏块特性进行了深入分析，讨论了这些宏块相对于前向参考帧的运动 信息估计方法，并对时域不连续的图像块给出了一种修正的偏导数估计方法。最后，通过最 小二乘法并结合图像的偏导数进行光流场估计。该方法尽管在速度和精度上进行了有效的折 衷，但是由于在进行光流场估计时假设光流场在一个8×8区域里面是不变的，并且使用了最 小二乘估计法。当有小部分数据和模型有偏差的时候，结果会离真实估计相差较远。 本文针对目前应用最广泛的MPEG-2视频流，提出了一种压缩域运动矢量致密化和准确 化方法，以得到近似精确的光流场。具体地，它利用MPEG-2压缩域易于得到的DCT系数， 特别是AC系数的特征，用DC+2AC系数代替DC系数作为图像的亮度信息作为初始值，在 Black光流场估计框架的基础上进行运动估计，并利用可信度方法，引入新的AC系数限制条 件，保留具有高可信度的光流场估计，从而产生可靠的运动物体的边缘光流。算法的系统框 1本课题得到国家自然科学基金项目），湖南省自然科学基金（05JJ30113 ）的资助。 -1- 图如图1所示。 图 1. 系统框图 2. MPEG-2 压缩域信息提取和处理 MPEG-2 压缩域有两种很重要的信息：运动矢量和 DCT 系数。MPEG-2 压缩域的运动 矢量是由基于块匹配的运动估计产生，表示块相对于参考块的运动信息。DCT