全景媒体(OMAF_VR)的系统架构研究综述.doc

. 资料. 全景媒体(OMAF)的系统架构研究综述 1 概述 虚拟现实技术是一种通过计算机仿真来创建和体验虚拟世界的技术，其中，交互式的三维动态视景与用户实体行为的融合大大丰富了用户的观看体验。目前，VR（virtual reality，虚拟现实）已成为一项热门技术，它通过展现360度的视频为观看者提供了沉浸式的“亲身体验”和“现实生活”。用户可以交互性地随时切换他们观看的视角，并且动态地查看他们所期望看到的部分场景。VR在很多领域都有它独特的应用魅力，如VR模拟、VR游戏、VR视频直播等。 从用户体验的角度看，VR技术的最独特之处在于全景视频，也称360度全景视频或沉浸式视频。全景媒体是指能够根据用户的观看视角进行渲染的图像、视频及其相关联的音频。在拍摄端，全景视频一般由指向不同方向的多个照相机拍摄并拼接而成。由于人的视野有限，因此无法在特定视角看全整体画面，而是通常将注意力放在特定的感兴趣的区域。在渲染端，全景视频播放已经使用许多显示设备实现。但是，VR服务的核心问题在于如何将全景视频从相机拍摄端向最终的显示端进行传输和存储。全景媒体的技术架构主要由视频拼接与映射、视频编解码、存储与传输等技术构成。目前，已有多家公司提出了视频拼接算法，关于映射方法也有多种模型方案。此外，一些组织和标准正在制定针对全景媒体的编解码和传输的优化算法。同时，全景媒体技术面临很多巨大的挑战。首先，全景视频分辨率是一个技术瓶颈，相机组拼接带来的不同步、变形等因素将严重降低视频质量；其次，全景媒体庞大的数据传输与计算给传输带宽和终端的解码能力提出了巨大的挑战；此外，端到端的时延也是一个影响用户体验的关键参数。 目前，市场上出现的虚拟现实产品标准不一，需要新的行业标准的约束。因此，为了将VR技术扩展到更广泛的市场，需要定义一种通用的应用架构标准，可以在不同的VR设备之间进行全景视频的存储、管理、交换、编辑和呈现。 2 全景媒体应用的发展与演进 OMAF（omnidirectional media application format，全景媒体的应用格式）最先由MPEG（moving picture experts group，动态图像专家组）组织在2015年10月的113届MPEG会议上提出，它提出的重要意义在于它为VR系统的输入输出接口设定了标准，便于扩展到科学研究和商业领域。此后，很多公司如高通、三星、诺基亚等以及国内外各大高校纷纷参与制定标准的队伍中。与传统平面媒体相比，全景视频在视频获取到播放的过程中，容易形成“碎片化”。全景媒体的“碎片化”，是由于在视频内容上的空间分块以及端到端的应用设备的性能不统一性造成的，而MPEG组织建立OMAF标准，正是为了避免和改善全景媒体在内容和应用设备上的碎片化。首先，OMAF框架可用于将360度视频与二维图像帧相互转换的映射和渲染；其次，在基本文件格式的基础上，扩充和丰富了VR视频存储功能和相关信令的定义；此外，在框架上还增加了动态自适应流的封装和传输；同时它针对全景媒体流提出了更高要求的压缩编码性能。 MPEG组织在2015年底就初步形成了较为粗略的应用框图，涵盖了图像拼接和映射、视频编解码以及视频在球面的渲染模块。2016年6月，Byeongdoo等人在各种MPEG会议的提案基础上，对OMAF可支持的映射方式进行了比较和归纳。在编码方面，Ridge等人提出了下一代VR编码的趋势，对编解码器的实际应用提出了挑战性的需求。在存储方面，Wang等人提出了一个支持存储全景媒体内容的文件格式的标准，定义了多个VR相关的BOX类型。在传输方面，Franck等人提出了一个新的DASH（dynamic adaptive streaming over HTTP，基于HTTP的动态自适应流）描述符来帮助DASH客户端利用和管理VR内容。图1所示为OMAF标准草案的一个发展阶段路线图，从目前的研究趋势可以看出，从2017年1月开始就有成规范体系的关于OMAF框架的MPEG会议输出文档。 图1 OMAF标准草案的发展阶段路线图 图2所示为关于MPEG OMAF的未来发展路线图。从图2中可以看到，在2017年底，三自由度的全景VR系统架构的标准制定完毕，到2020年底，六自由度全景VR系统也将会发布，届时对编解码、传输、文件格式等有全新的标准支持。 图2 MPEG组织的OMAF标准未来发展路线图 关于全景媒体应用的架构，AVS（