DVA07a_音视频同步解说.ppt

实时获取是 * 锁相环（PLL: Phase-locked loops）是一种利用反馈（Feedback）控制原理实现的频率及相位的同步技术，其作用是将电路输出的时钟与其外部的参考时钟保持同步。当参考时钟的频率或相位发生改变时，锁相环会检测到这种变化，并且通过其内部的反馈系统来调节输出频率，直到两者重新同步，这种同步又称为“锁相”（Phase-locked）。 * * 时间表示技术：非确定性时间关系 RI：录制信息 * 时间表示技术：绝对时间轴同步模型 基于轴的同步是指所有的媒体对象演示都被映射到一条轴上，这条轴看作所有演示对象的参考。这种映射反映了对现实世界的一种抽象。 基本时间单位：时刻 关联信息：定量（事件发生的准确时间） 时间表示技术：运行时直接使用全局时钟 优点：事件独立，增、删事件容易，对媒体内容有很好的抽象 缺点：不易表示非确定性事件 Audio1 while (0,0) Video Audio1 before RecordedInteraction RecordedInteraction before (0) B1 P1 before (0) P2 P2 before (0) P3 P3 before (0) Interaction P3 before (0) Animation Animation while (2,5) Audio2 Interaction before (0) P4. * 评价： 需要另外的 QoS 规范 (including skew spec.) 音频流常用作全局定时器，由于重取样问题，它和其它码流的同步更困难 多个音频流怎么办? 选择哪一个做全局定时器? 例子: Quicktime 时间表示技术：绝对时间轴同步模型 * 时间表示技术：相对时间轴 (虚轴) 同步模型 基本时间单位：时间间隔 关联信息：定性（事件发生的前后顺序） 时间表示技术：运行时将虚轴投影到实际的全局时钟上 优点：继承了时间轴模型的简单，可以表示非确定性事件 缺点：维护复杂一些，多个虚轴时使得参数化变得复杂，运行时轴 映射可能非常复杂和耗时。 虚拟时间轴是时间轴方法的一般化。可以通过多个虚轴创建一个虚拟的空间，例如用音符描述的音乐，频率有音符线位置决定，持续时间有时间轴线决定。 时间轴 交互轴 绝对时间轴 逻辑时间 (虚)轴 * 时间表示技术：相对时间轴 (虚轴) 同步模型 * 多媒体同步的参考模型 四层多媒体同步参考模型 开放的层，不提供明确的接口，这层包含应用和工具，允许生成一个同步方案。 媒体层 流层 对象层 参数层 多媒体应用 * 多媒体同步的参考模型 * 内容提要 7 – 多媒体同步 a) 多媒体内部的约束关系 b) 时域关系的描述 c) 时域关系的维持：同步机制 如何表示多媒体数据的时域特征 在处理（采集、传输、播放）多媒体数据的过程中，如何维持时域特征（同步机制） * 影响多媒体同步的因素 延时抖动 收发时钟的频率偏差 不同的采集起始时间，或不同的延时时间 不同的播放时间 数据丢失 网络传输条件的变化（引起失步） * 延迟抖动对多媒体同步的影响 影响多媒体同步的因素 * 收发时钟的频率偏移 影响多媒体同步的因素 * 多媒体同步机制 流内同步 基于播放时限（dead line）的方法 基于缓存器数据量的控制方法 流间同步 基于全局时钟的时间戳方法 基于反馈的流间同步方法 时钟同步 基于接收缓存器的方法 基于时间戳的锁相方法 基于网络时间协议的方法 * 流内同步：基于播放时限的方法 最大最小延时之间 起始播放延时 T ? 缓存容量最小容量 B ？ * 流内同步：基于播放时限的方法 保证连续播放的充要条件（缓存器不下溢）： 起始播放延时 T ： (播放时限 p(i) 大于等于到达时间 a(i)) * 流内同步：基于播放时限的方法 保证缓存器不上溢的最小容量 B： 第 i 个 LDU 在缓存器中的时间： 第 i 个 LDU 在缓存器中的最大时间： （r 传输速率） * 流内同步：基于缓存器数据量的控制方法 * 流间同步：基于全局时钟的时间戳方法 * 流间同步：基于全局时钟的时间戳方法 * 流间同步：基于反馈的流间同步方法 * 流间同步：基于反馈的流间同步方法 * 流间同步：基于反馈的流间同步方法 时钟同步：基于接收缓存器的方法 * 时钟同步：基于接收缓存器的方法 * * 时钟同步：基于接收缓存器的方法 * 时钟同步：一般锁相电路 * 时钟同步：基于时间戳的锁相方法 * 时钟同步：基于网络时间协议(NTP)的方法 NTP 是一个跨越广域网或局域网的复杂的同步时间协议，主要用于调节系统时钟从而与外部时间源达到同步。外部时间源可以是原子钟、天文台、