第6章多体同步.ppt

第6章 多媒体同步 第6章 多媒体同步 掌握实时媒体与静态媒体概念 掌握多媒体数据中的几种主要的约束关系 掌握影响多媒体同步的因素 掌握多媒体数据的构成 掌握时域参考框架与四层参考模型 掌握典型的时间模型 学习目标 第6章 多媒体同步 本章的主要内容 6.1多媒体数据 6.2多媒体数据时域特征的表示 6.3多媒体同步的4层参考模型 6.4分布式多媒体系统中的同步 小结 概述 同步 与统一的时间基准相关联 已知同步？ 时钟同步 帧同步 网同步 本章讨论的同步是？ 多媒体同步—— 媒体内同步、媒体间同步 6.1多媒体数据 6.1.1连续媒体数据与静态媒体数据 媒体数据的种类 依赖于时间关系的媒体数据——实时/连续媒体数据 独立于时间关系的媒体数据——非实时/离散/静态媒体数据 说明 一般在说到多媒体数据时至少要包含一种实时媒体数据和一种非实时媒体数据。 连续媒体数据可以看作是由逻辑数据单元LDU构成的时间序列，也叫数据流。LDU的内容不是固定的，可以由具体的应用、编码方式、数据的存储方式和传输方式来决定的。 6.1多媒体数据 6.1.2多媒体数据内部的约束关系 基于内容的约束关系 描述的是不同媒体对像是同一数据内容的不同表现形式而在媒体之间所具有的一种约束关系。 空域约束关系 也称为布局关系，它定义了多媒体数据显示过程中某个时刻，不同媒体对像在呈现媒体上的空间位置关系。 时域约束关系 是多媒体数据对象的时域特征，它定义了媒体对象在时间上的相互依赖关系。 连续媒体对象的各个LDU之间的相对时间关系——媒体内同步 各媒体对象之间的相对时间关系——媒体间同步 在这三种约束关系中，时域约束关系最为重要，时域特征遭到破坏也就是多媒体数据的语义完整性受到破坏。 6.1.2多媒体数据内部的约束关系 不同媒体对象之间的相对时间关系可以用图6-4来说明： 连续媒体对象的各个LDU之间的关系可以用图6-2来说明： LDU1 LDU2 LDU3 LDU4 LDU5 ...... 40ms 40ms 6.1.3 多媒体数据的构成 多媒体数据的构成 成分数据 同步规范 同步描述数据 同步容限 多媒体数据 成分数据 同步规范 文本数据 图形数据 音频数据 视频数据 同步描述数据 同步容限 6.1.3 多媒体数据的构成 多媒体同步： 保持和维护各媒体之间和各媒体对象内部存在的时态关系，组织多种媒体序列以实现某种特定的任务的目的。 多媒体同步所研究的主要问题： 如何表示多媒体数据的时域特征； 在处理多媒体数据时，如何维持时域特征。 6.2 多媒体数据时域特征表示 在表示多媒体数据时域特征的过程中所要完成的具体任务，是对多媒体数据进行抽象、描述和给出必要的同步容限。 时域特征表示过程如图： 6.2.1 时域场景和时域定义方案 抽象过程：忽略多媒体数据中与时域特征不相干的细节，将多媒体数据概括为一个时域场景的过程。 一个时域场景是由若干时域事件构成，其中的每一个时域事件都是与多媒体数据在时域中发生的某个具体动作相对应的。这些具体动作可以是开始播放、暂停、结束播放、恢复播放等。 如果一个时域事件在时域场景中的时间位置是完全确定的，该事件就称为确定性时域事件，否则就称为非确定性时域事件。 6.2.1 时域场景和时域定义方案 图6-6 确定性时域场景和非确定性时域场景 6.2.1 时域场景和时域定义方案 时间模型：对数据进行抽样描述的数据模型，它是由若干部件和部件的使用规则组成，是在计算机系统内为时域场景进行建模的依据。 形式化语言：建模结果通过形式化语言转化为形式化描述——同步描述数据。 时间模型和形式化语言统称为时域定义方案。 同步QoS要求：用户和同步机制之间应当以何种准确程度来维持时域特征方面所达成的一种质量约定——定时要求（同步容限）。 描述数据和定时要求相结合形成计算机内部对多媒体数据的时域特征表示。 6.2.2 时域参考框架 时域参考框架是由多媒体场景、时域定义方案和同步机制三个部分构成。 多媒体场景：是对多媒体数据在时间特征和空间特征抽象的结果，时域场景是多媒体场景的重要组成部分。 时域定义方案：是在计算机系统内为时域场景建模并对建模结果进行形式化描述的方法。包括时间模型和形式化语言。 同步机制：是一种服务过程，能够了解同步描述数据所定义的时域特征，并根据用户所要求的同步容限，完成对该特征的维护。任务：流内同步和流间同步。 6.2.3描述时域特征的时间模型 一个时间模型是由基本时间单位、关联信息和时间表示技术三个部分所组成。 基本时间单位 分为时刻和间隔两种类型，用来表示一个时域场景中发生的事件。 关联信息 定量关联信息 定性关联信息 其中，定性关联信息包括： 两个时刻之间的基本时域关系