三维视频国际标准发展思考与探讨.docVIP

三维视频国际标准发展的思考与探讨 　　一、引言 　　随着多媒体技术的迅猛发展,三维视频已经成为一个非常重要的应用领域。与传统的二维视频相比,三维视频可以提供给用户更加真实的立体视觉体验。当用户在欣赏三维(3D)视频时,用户可以体验到三维深度的视觉效果,增强了视觉的现实感和逼真感。然而三维视频信号数字化后的数据量非常庞大,需要对三维视频数据进行压缩编码,因此研究三维视频的编码标准具有重要的理论价值和广泛的应用价值。近年来,国际标准化组织ISO制定的MPEG系列获得了广泛的应用,本文主要对MPEG中的三维视频国际标准的发展历程和最新进展进行跟踪和探讨,最后对三维视频标准的技术发展方向进行了科学的展望和推断。 　　二、三维视频标准发展 　　MPEG早在2001年就充分认识到3D音频和3D视频(3D Audio and Video,3DAV)的重要性及其广阔的应用前景,于2001年12月第58次MPEG会议上成立3DAV特别小组(3DAudio VisualAd hoc Group) [1]。早期3DAV特别小组的主要工作是3DAV的需求分析,具体包括对3DAV典型应用场景的定义、可供研究的标准化内容以及与现有MPEG标准相重叠部分的研究。3DAV特别小组定义了3DAV的典型应用场景,主要包括全景视频、交互式立体视频、任意视点视频和3D音频。针对上述应用,3DAV特别小组定义了一个共同的3DAV系统构架,调查每种应用的具体应用场景和现有产品。3DAV特别小组集中定义了四个探索实验(Exploration Experiment,EE)[3],对这些应用场景分别进行深入讨论。这四个EE分别为EE1:全景视频,EE2:任意视点视频,EE3:立体视频编码技术,EE4:3DTV的深度/视差编码和视图合成技术[2]。 　　2003年7月在第65次会议中,3DAV特别小组发布了两个重要文档,《关于3DAV的需求和应用场景说明》和《3DAV工作报告》。这两个文档对3DAV特别小组从58次会议成立至65次会议期间所做工作进行了系统的总结。 　　2004年3月第68次MPEG会议上3DAV特别小组对多视点视频编码技术发布征求验证文档CFE,邀请其它感兴趣的组织针对3DAV做出回应和评论。 　　2005年1月在香港召开的第71次MPEG会议对CFE的回应文档进行了评估。本次会议共收到七项对CFE的回应技术提案,分别来自日本NTT、日本KDDI、日本富士通等。MPEG会议的输出文档W6909[3]和W6999[4]分别给出了各个提案的客观比较结果和主观比较结果。比较结果表明MVC的编码效率远好于基准编码方案,进一步验证了MVC标准化的必要性和可行性。在充分肯定MVC标准化工作的可行性后,3DAV特别小组决定发布征求提案稿CFP[5] ,标志着MVC标准化进程正式开始。2006年7月的第77次MPEG会议上,MVC的标准化工作正式移交给JVT,这标志着MVC的标准化工作进入实质性阶段。2009年3月,多视点视频编码(Multiview Video Coding,MVC)作为H.264/AVC的Amendment IV正式发布。 　　2007年4月第80次MPEG会议上,成立FTV特别小组。开始了FTV的标准化研究进程。 　　2007年10月召开的第82次MPEG会议上,FTV特别小组发布了征求序列文档,从此次MPEG会议开始,陆续出现许多关于深度估计以及视图合成的技术提案。 　　2008年1月召开的第83次MPEG会议上,给出了关于FTV的两个EE,分别关于深度估计以及视图合成。 　　2008年4月召开的第84次MPEG会议上,将FTV特别小组更名为3D视频以及FTV编码特别小组。 　　2008年7月召开的第85次MPEG会议上,来自Philips公司的研究人员提出了采用Layered Depth Video(LDV)的方法来合成虚拟视图。大会一致肯定了该技术,并将LDV作为FTV的第三个EE以进一步研究。 　　2008年10月召开的第86次MPEG会议上,大会认为一些序列的合成视图的质量已经可以接受,因此展开了关于这些序列的编码实验,以观察深度图编码对于合成的虚拟视图的影响。 　　2009年2月召开的第87次MPEG会议上,由于估计得到的深度图无法达到进一步要求,再一次发布了征求关于深度图以及附加信息的3D测试序列的文档,其中附加信息包括一些背景数据、遮挡信息、透明度信息等。 　　2009年4月召开的第88次MPEG会议中,决定开展FTV研究的第二阶段,制订了两个EE,其中EE1关于改进的深度估计方法,EE4关于编码实验。 　　2009年7月召开的第89次MPEG会议中,MPEG Video小组以及Requirements小