实时流媒体系统的同步控制技术研究与实现.pdfVIP

实时流媒体系统的同步控制技术研究与实现 崔淑娟李炜姜东李波 北京航空航天大学计算机学院．北京，100083 摘要：现令流媒体系统获得了越来越广泛的应用。音视频同步又是流媒体系统卖现的关键技 术和难点之一。本文首先根据实时流媒体系统的组成和应用需求，建立了一个实时流煤体系统 的框架，然后深八地分析了各个组成部分影响同步的因素，最后根据这些特点，采取了相应的 解决方隶，很好地控制媒体流的最终同步。 关键词：流媒体；音视频同步；时间戳；MPEG-4 0．引言 在互联网飞速发展的今天，流媒体技术的产生和发展给人们的日常生活和工作带来了 深远的影响，它在网络时代的重要地位也日趋明朗。它将人们在线实时观看电影、电视的 梦想变为现实；与常用的下载方式不同，它使用流式传输技术，用户不必下载整个文件而 是只需经过非常短的启动延时即可进行播放，既节省了用户的时间，又节省了存储资源； 同时它的实时流式传输技术，也使流媒体技术广泛应用于娱乐行业以外的应用系统如远程 培训、视频会议等。 在流媒体系统中，音频流和视频流是其主要表现对象，且某个流媒体系统中所涉及的 音频流与视频流在时间上相互关联，彼此约束。视频与对应音频之间的时间倾斜(skew)J31， 要约束在一定的范围之内，若超出这个范围就会造成，诸如一幅画面中一个人说话和动作 的不协调，或者声音与画面存在相对时延等现象(也就是不同步)；这些都是用户无法忍受 的。而流媒体所采用的传输方式只是将音视频流分别作为单独的数据流，而未复合成有时 间联系的一股复合流进行传输，破坏了它们之间的时间联系，更容易造成不同步现象。因 此流媒体系统中音频流和视频流之间同步关系的研究，就显得至关重要。 本文主要研究了实时流媒体系统的实现技术。首先根据实时流媒体系统的组成和应用 需求，建立了一个实时流媒体系统的框架，然后深入地分析了系统各组成部分的特点，最 后根据这些特点，采取了相应的措施用于控制媒体流的最终同步。 1．实时流媒体系统框架 1．1实时流媒体系统的组成 一个完整的实时流媒体系统包括音视频数据的采集、压缩编码、同步传输、解码、同 步播放和显示等环节，根据所处位置不同，可以将这些环节划分成三个部分，如图1所示。 资助项目：国防基础科研、新世纪优秀^才支持计划和SRFDP资助 联系作者：崔淑娟，E-maih colll cucko@hotmail 38 第一部分第十四屈全国多媒体技术学术会议 ·媒体数据采集端：包括音视频数据采集和编码。该部分要选择高效的压缩算法，这 是因为音视频的数据量比较大．若不压缩，就需要巨大的带宽，也会造成网络阻塞， 从而影响同步的控制。 ·网络传送：设计合适的网络传送方案，使其适合实时传送数据，以保证媒体数据能 实时到达。 ·媒体数据接收端：包括音视频同步解码和显示：该部分要基于采用的音视频压缩算 法，选择合适的同步方法；现有的媒体流同步大概有几种模型：比如参考时间线同 步、参考点同步、时间戳法等p’…。我们将采用一种类似于时间戳的方法来控制音 视频同步。 从上述流媒体系统的三个组成部分的功能来看，同步功能非常重要．因其贯穿于整个 系统之中。 1．2流媒体系统的设计方案 本文所构造的流媒体系统 主要用到了流媒体技术中的实时流式传输技术。其系统结 构如图2所示。 系统基本工作过程是：通过声卡采集 鼯—z≥广靶 音频、摄像头采集视频，然后分别对它们 I乒一—、．彳一一一卸 进行编码，编码后的音视频数据被封装成 图2系统结构图 UDP包，经过网络传输到另外一台机器上， 然后进行解码播放。如果系统中数据流的传播是单向的(不包含虚线部分)，则该系统可应 用于网络教学；若数据流的传播是双向的，则该系统可用于视频会议。 下面分别介绍在实现该系统时，为控制同步各部分所涉及的关键技术。 2．媒体数据的采集及压缩 为了确保在接收端音视频能够同步播放，以下两个条件必须得到保证： (1)同一时刻采集的音视频能够打上同样的时间戳：(2)必须保证采集的音视频数据， 经