《第5章多媒体通信系统中的关键技术》.pptVIP

第5章 多媒体通信系统中的关键技术 5.3 多媒体同步技术 5.3.1 多媒体同步概述 多媒体同步：多媒体同步就是保持和维护各种媒体对象之间以及各种媒体对象内部所存在的时态关系，维持各种媒体序列来达到某种特定任务的目的。 按同步层次划分: 上层同步也称作表现级同步或交互同步，也即用户级同步。 中层同步是信息合成同步，也就是不同媒体类型数据之间的合成。 底层同步是系统同步，也称为媒体内部同步。 连续媒体对象本身的各个LDU之间的关系如下图所示 不同媒体对象之间的相对时间关系可以用下图来说明。图中，一段文字、声音和视频图像同时开始和结束，紧接着三幅静止图像出现，紧接着播放一段动画，并在动画播放期间插入另一段声音。 媒体数据流之间的同步主要是要保证不同媒体数据流间的时间关系，如音频和视频流之间的时态关系，音频和文本之间时态关系等，表现为各个媒体数据流中在同步点上的同时播放。 单从各个媒体之间的关系来看，媒体的同步主要包括两个方面：媒体内同步和媒体间同步。媒体内同步是要维持单个媒体数据流内部各个信息单元的连续性；媒体间同步是要维持多个相关媒体流中媒体单元间的时间关系。 分布式多媒体情况下，影响媒体同步关系的主要因素 媒体间的时延偏移：当相关媒体流来自不同的信源时，各个媒体流选择的信道不同，所产生的时延也不同，从而造成媒体间的时间关系变化。为了解决媒体间的偏移，一般采用在接收端设置缓冲存储器来实现。 端系统的抖动：端系统中所引起的时延变化，可采用在接收端的弹性缓冲区来进行补偿。 时钟漂移：由端系统完成对连续媒体的捕获、重新生成和播映，这个过程是需要时钟来驱动的。经过较长一段时间后，温度的变化或者晶振本身的缺陷，使得端系统的时钟频率发生变化，与标准时钟发生漂移。时钟漂移的积累会使用户端的缓存发生溢出，可能是上溢也可能是下溢。解决时钟漂移的问题可以在网络中使用时间同步协议来解决。 网络条件变化：网络连接性质的变化，比如平均时延的改变或者媒体单元丢失率的增高。由于多媒体数据的传输都是无证实的数据报服务，这种不可靠的传输服务有时会发生媒体单元丢失的事件，此时需要重复播映前一个媒体单元的内容 5.3.3 多媒体时域特征表示 时域场景和时域定义方案 时间模型是对数据进行抽象描述的数据模型，它是由若干基本部件和部件的使用规则组成。 时间模型是在计算机系统内为时域场景进行建模的依据。 时域参考框架 描述时域特征的时间模型 时间模型的构成 一个时间模型是由基本时间单位、关联信息和时间表示技术三个部分所组成。 两个时刻之间的基本时域关系有三种，即之前(before)、之后(after)和同时(at-the-same-time) 两个间隔之间的基本时域关系有13种，主要的为7种。 时间模型的分类 根据基本时间单位、关联信息和时间表示技术这三个构成成分的具体内容，可以将时间模型分为5类，即 定量定期型 定性定期型 定性时刻型 定性间隔型 定量间隔型 同步容限 这种时域事件间相对位置的变化为事件间偏差。 同步容限是用户与同步机制之间对事件间偏差的许可范围所达成的协议。 5.3.4 多媒体同步的四层参考模型 由于多媒体同步是一个很复杂的问题，人们希望通过某种方式的划分来理解与同步相关的因素，从而找到到解决问题的方法。 四层模型由规范层、对象层、流层和媒体层构成。 由多媒体应用生成时域场景，时域场景是规范层的处理对象。由对象层、流层和媒体层构成同步机制。规范层处理的核心是时域定义方案，其接口可以为用户提供利用多媒体时间模型描述媒体数据时域约束关系的工具，例如同步编辑器、多媒体文档编辑器和著作编辑系统等。规范层产生的同步描述数据和同步容限，经过对象层的适当转换后进入到同步机制。 由对象层、流层和媒体层构成了时域参考框架中的同步机制。 在层次参考模型中，每一层都有对应的数据处理对象，同步参考模型体现了不同层次上对同步的要求，每一层实现一个由适当的接口提供的同步机制，这些接口可以用于定义和保证时间关系。 1. 媒体层 3. 对象层 5.3.5 同步多媒体集成语言SMIL SMIL是同步多媒体集成语言（Synchronized Multimedia Integration Language）的缩写，是由3W(World Wide Web Consortium)组织规定的多媒体操纵语言。 SMIL 1.0(1998年)、 SMIL 2.0(2005年) SMIL 3.0(2008年) SMIL与HTML的语法格式非常相似 html针对普通的网络媒体文件进行操纵（文字、图片、声音、动画、视频的机械堆砌） smil操纵多媒体片断(对多媒体片断的有机的、智能的组合)。 SMIL的主要特点： 避免使用统一的包容文件格式 同时播放在不同地点上的多媒体片断 时间控制