基于人脸检测可视电话视频传输抗误码技术.pdfVIP

基于人脸检测的可视电话视频传输抗误码技术1 1 1 2 2 2 2 郭彦东 ，邓中亮 ，陈瞿清 ，顾晓东 ，陈志波 ，王 Charles 1 北京邮电大学电子工程学院，北京(100876) 2 汤姆逊研究院，北京(100085) E-mail：eemars@, dengzhl@ 摘 要： 抗误码视频编码在易错信道中的视频传输中扮演着重要的角色。帧内编码，因为 可以用简单的算法实现抑制差错扩散，被广泛的用作抗误码编码中。但是，目前还没有针对 可视电话视频会议这个特殊场景设计的视频抗误码技术。在文中，利用可视电话传输人脸为 主要目的并且人们会关注人脸的特性，我们提出了一种新的帧内刷新技术。在这个技术中， 每一帧的人脸区域有更高的优先级进行帧内编码，并提出了基于人脸的端到端差错控制RD 模型。最后，实验结果指出：在相同的比特率与丢包率的情况下，与其他抗误码技术相比， 上述方法在传输可视电话视频序列时可以提供更好的主观质量。 关键词：抗误码编码，帧内刷新，人脸检测，RD 模型 中图分类号：TN 1. 引 言 近年来，抗误码视频编码技术被广泛的研究。特别是在无线信道环境下，前向差错更正， 多描述编码，分层视频编码技术，联合编码以及信道编码等技术被广泛研究，此外还有鲁棒 小波编码等。在最近的国际视频编码标准 H.264/AVC 中，又有一些新的算法用来提高编码 的容错能力，比如复杂宏块排序，参数设置，SP 变换等。虽然有这么多容错技术，帧内刷 新（Intra refresh ）技术，即将某些选定的视频数据进行帧内编码来阻止差错扩散，仍然是易 错信道中视频传输的最简单和有效的方法。 正如我们所广泛了解的，在现有的基于块的混合视频编码结构中，有两种编码模式：帧 内编码与帧间编码。帧内编码只用当前帧的信息，而帧间编码模式用相邻帧的信息作为参考 帧来进一步减少时间冗余。当一个编码后的视频在倾向于出错的网络中传输时，无码会在某 一帧中出现，然后传播到后面的几帧：因为帧间编码的预测。甚至在解码端采用一些错误检 测方法，也效果十分有限。相反地，帧内编码模式可以抑制差错传播因为他并不参考相邻帧 的信息。因此，通过设定某些规则，帧内编码，或者说帧内刷新，是在抗误码视频编码中修 复视频主观质量损失的一个基本的，有效的方法。 I-帧是帧内刷新的一个特殊情况，在 I-帧情况下，整帧图像用帧内模式编码。但是，编 码这么多 I 帧将会产生大量的比特流，并且产生一个剧烈的比特率波动。因此，有许多帧内 刷新技术的改进：包括随机重传，周期性重传，基于运动信息的重传，基于端到端的 RD 模 型的重传，基于反馈的重传，基于丢包率的重传，以及这些方法的结合。 在上述方法中，基于端到端模型的帧内刷新技术将有高的，或者复杂的运动信息的块设 置为帧内刷新块，因为如果将它们用帧间模式编码的话，与用帧内编码模式相比，由于是误 码扩散，会有更大的端到端的失真。 虽然将高运动信息的块用帧内模式编码是看起来很合理，但是，从感知的角度看，这个 解决方案仍然不够完美。尤其是在视频电话的应用中。在可视电话或者视频会议中，人们更 1 本课题为实验室自筹项目。 - 1 - 倾向于关注可视电话中的“人脸”，而不是其他区域。而往往人脸区域并没有很大的运动向 量信息。因此，一个适用于可视电话的容错视频编码算法因该尽可能保护在人脸的区域的信 息，从而提高视频的主管质量。 在本文中展示了一个新的基于人脸检测的帧内刷新技术。文章按照如下组织：首先，介 绍所采用的人脸检测技术；然后，介绍基于人脸检测的帧内刷新技术，并且优化了 RD 模型； 最后，是实验结果以及讨论。 2. 基于人脸检测的帧内刷新 2.1 人脸检测技术 在 2002 年，M.H.Yang 在 IEEE Trans. PAMI 上发表的“Detecting Faces in Images: