第6章多媒体的时间表示与同步.pptVIP

第6章多媒体的时间表示与同步 6.1 多媒体同步的基本概念 6.2 时间模型 6.3 时间的规范与表示 6.4 多媒体同步的表示方法 6.5 时间同步与系统支持 6.1 多媒体同步的基本概念 6.1.1 同步的基本概念 多媒体是在不同应用环境中文本、图像、声音、视频等各种媒体的集成。既然需要将这些媒体安排在一起表现，就有一个先来后到的关系。这个关系就是同步关系，系统对各个媒体对象按照这个关系进行的控制过程，就是同步。 同步的过程与时间有着密切的关系，大多数同步都建立在时间的基础上。 6.1.1 同步的基本概念 基于时间的媒体（Time-based Media，时基媒体）或时间依赖媒体（Time-dependent）： 媒体与时间有着强烈的依赖关系，在采样、传输和回放表现时更需要以时间为参照系进行有序的组织。 多媒体同步或合成（Orchestration）： 组织时基的、非时基的多种媒体序列通过传输、合成并达到某种表现效果。这个过程既包含表现过程，也包含多媒体信息的传输过程；既可以用于并发或顺序的数据流布局，也可以用于对所产生的外部事件进行安排。 6.1.1 同步的基本概念 “世界报道”时间线表示 6.1.2 同步的种类 1．应用同步 应用层同步又称表现同步，或交互同步。这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。 2．合成同步 合成同步又称为“媒体之间的同步” 。这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。 3．现场同步 现场同步也属于媒体间的同步。它要表现出同一个应用中数据源方与表现方之间存在的实际同步关系，也既端–端之间的同步关系。 4．系统同步 又称“媒体内部的同步” 。 6.1.3 同步的分层服务模型 对于多媒体的应用来说，同步是建立在不同的分层的基础上的。不同层次的同步依据不同的接口机制来保证，如下图所示。 6.2 时间模型 6.2.1 时间依赖的定义 时间依赖的定义 时间依赖数据在时间上的唯一性是十分重要的。多媒体数据的时间依赖性有时很难具体描述。 根据各种媒体及其表现特性确定时间的依赖关系。 Static静态的－没有时间依赖 Discrete离散的－单一元素 Transient短暂的－一时的 Natural或Implied自然/蕴含的－真实世界中的时间依赖 Synthetic综合的、合成的－人工产生的时间依赖 Continuous连续的－在时间上连续 Persistant持续的－在数据库中维持的 6.2.1 时间依赖的定义 表现及应用生命周期 持续对象－存在于整个应用周期 非持续对象－动态建立并且用后丢弃 短暂对象－出现很短，不需操纵 静态对象－长期存在 数据采集 自然：真实时间－记录时间关系，存储 人工：综合时间关系（合成） 实况：不能进行时间操作 媒体 连续媒体 离散媒体 6.2.2 时间的概念模型 时间点和时间段 时间点－－瞬时，时间的零长度运动，例：4:00pm 时间段－－两个时间点之间的区间 时间关系 时间关系有十三种：before, starts, meets, overlaps, during, finishes, equals 除equals外，其余六种都有逆关系，共十三种。 连续媒体：meets， 非连续媒体：before 基于时态区间的建模（TIB建模）可以勾画出复杂的时间线表示 6.2.2 时间的概念模型 6.2.2 时间的概念模型 6.3 时间的规范与表示 6.3.1 时间规范 时间规范的目的是为了向在创建时和合成过程中所要求同步的数据对象提供一种时间关系的表达手段。 这种时间规范可以存储起了，并用于从存储中重放合成的多媒体对象。 6.3.2 相对时间规范与绝对时间规范 1．时态瞬时 绝对时间参考系：以Video作为绝对时间参考。本来Image和Audio没有时间关系，但都以Video作参考后，Image和Audio也有了关系。 以时间轴作为参考对象，编辑时某些时间关系会丢失。如取消参考对象，则无时间关系了，无法同步。 相对时间参考系：相对于绝对时间轴（World Time）。失步可用丢弃的方法进行校正。 6.3.2 相对时间规范与绝对时间规范 2．时态区间 基于时态区间（TIB）可用于建立多媒体表现模型，如：HyTime，ODA，扩展ODA，…… 层次化方法 ai: 单一媒体 用户输入 延迟 只在ai的起始点或结束点确定同步。 参考点方法 系统只在动作流的固定参考点才检查同步，如AVI同步。 6.3.2 相对时间规范与绝对时间规范 3．并行与顺序关系 用于时间依赖媒体的公共表示方法，可以只用并行和顺序的关系来表示。 引入计时器T，将原来在时间上的许多差别都归