基于LAN网络环境的交互式多视点视频点播系统.pdfVIP

基于LAN网络环境的交互式多视点视频点播系统 谢剑P孙立峰1吕从2钟玉琢1 1(清华大学计算机科学与技术系，北京，t00084) 2(河北基础地理信息中心，050000) 摘要：多视点视频是近几年视频处理领域研究的热点，它的提出体现了下一代多媒体应用网 络化、交互性和真实感的方向发展。本文介绍了交互式多视点视频点播系统的结构框架和其支 持的交互功能：简要介绍了虚拟视点合成算法；提出了基于视点问预测的多视点分组编码方案， 能够提高编码效率和支持低延时的随机访问；以及描述了相应的系统网络传输交互控制协议。 关键词：多视点视额；系统；交互；合成：鳊码 1．引言 在场景中放置多台摄像机，记录下多个视点视频数据，提供给用户以视点选择与场景漫游 的交互能力。多视点视频的提出体现了下一代多媒体应用的方向发展——网络化、交互性 和真实感。目前，国际标准化组织如MPEG已经充分认识到多视点视频这一新的数字媒体 的重要性与应用前景，正在着手开始制定这方面的标准。多视点视频将在面向宽带与高密 度存储介质(如DVD)的交互式多媒体应用领域，如数字娱乐、教育培训、医疗等具有广 泛的应用前景。 一个以让用户获得高质量、主动式的交互体验为目标的多视点视频系统网络点播系统 需要解决的核心问题体现在两个方面：一方面是压缩庞大的视频数据。其中包括压缩服务 器存储的各路视频数据，以及降低用户点播过程中需要通过网络传输的数据量；另一方面 是合成虚拟视点。在采集过程中放置于场景中的摄像机的数目是有限的，为了提供给用户 场景漫游的能力，我们需要合成高质量的虚拟视点图像。 我们把在简单网络环境(较高和稳定的带宽、较简单的网络结构)中构建我们的系统 作为近景目标，面向的是较小规模的高质量交互要求的应用，比如体育赛事转播间编辑， 用于学习、分析的赛事回放等。 欧洲的ATTEST建立了向下2D兼容的3D视频广播系统，使用基本层(遵循标准的 现了一个全功能端到端的3D．Tv系统，ETRI开发了一系列3DTV直播设备并进行了一定范 围的试播。上述原型系统都存在硬件要求过高，以及无法很好的支持视点选择、场景漫游 等用户交互的缺陷。我们建立了支持视点选择和平滑视点切换等交互应用的多视点视频点 播系统环境；提出了虚拟视点的合成算法；采用基于视点间预测的多视点分组编码方案， 资助项目：国家“863”项目(2002AAll9040) 联系作者：谢剑，E-rp．aihxiejian03@tsinghuaorg．锄 Ⅱ多媒体系统 155 提高了编码效率和降低了网络带宽的需求。 本文的组织结构如下：第2部分介绍系统的结构框架以及交互功能，第3部分是虚拟 视点合成方法的介绍，第4部分介绍多视点视频编码与网络传输交互控制协议，最后给出 的是结论与对未来工作的想法。 2．系统结构与交互功能 2．1系统结构框架 系统的结构框架如图1所示。系统包括服务器和客户机端两部分，两部分之间通过高速 Interact网络相连。多视点视频数据处理包括采集、编码、传输、解码、合成以及显示等各 环节，其中采集与编码在服务器端离线处理完成，在线部分包括传输以及客户机端的解码、 合成与显示。客户机端的交互控制模块以及服务器端的交互响应模块分别与客户机、服务 器的各个模块相连，它们之间则通过一条独立的网络链路通信。 亟霉{匝二二二二二]ll二二二二j猕二二二二] 挺]|弼] I二二二墨e二二]I]徊]I二砸]I]-l玉： 图1 多视点视频网络点播系统结构框架 2．2系统交互功能 在普通的视频点播功能之外，系统提供如下的交互功能以支持多视点视频应用。 ·视点交互选择 在线用户从服务器磁盘存储的多路视频流中任意 选择一路进行播放，播放过程中可以在不同视频流的 同一时刻上进行切换。 ·Time froze多视点平滑切换 在播放过程中，用户选择切换时间点，播放暂停， 服务器传送合成所需数据给客户端，客户端合成连续的 360。视点旋转图像，播放合成序列，用户可以在观看 过程中选择最佳的视点继续播放。合成的视频存在本地 供以后该用户回放或者用户之间共享。 系统的播放控制器如图