多媒体通信技术多媒体数据及时域特征.pptVIP

第10讲 多媒体数据及时域特征 多媒体同步——初步认识 传统意义上的同步概念 纯数据的传输 按施加对象区分 对象内的同步 对象间的同步 按同步层次划分: 上层同步也称作表现级同步或交互同步，也即用户级同步。 中层同步是信息合成同步，也就是不同媒体类型数据之间的合成。 底层同步是系统同步，也称为媒体内部同步。 多媒体数据—复合信息实体 多媒体数据时域特征表示 时域场景和时域定义方案 同步容限 * 信息科学与工程学院 宁波大学 Ningbo University * 多媒体同步是一项复杂技术 网络 物理线路 信源 信宿 基于卫星网的通信系统 多媒体同步分类 跳动的球的视频序列帧间同步 对象间的同步 多媒体同步分类 文本、图形、图像、动画、语音和活动图像 媒体数据的成分 连续媒体(敏感) 静态媒体(不敏感) 时间敏感性 生成方式 获取(源自现实世界) 合成(由计算机完成) 声音、视频信号 动画 静止图片 文本、图形 多媒体数据 宏块 ······ 第4种划分 LDU 宏块组 ······ 第3种划分 LDU 一帧图像 ······ 第2种划分 LDU 一个场景 第1种划分 LDU H.261码流中LDU的不同划分 连续媒体LDU之间的相对时间关系 LDU1 LDU2 LDU3 LDU4 LDU5 ······ Δt Δt Δt Δt 时间 重同步举例 ··· 10 11 12 13 14 15 16 17 ··· ··· 10 11 12 13 14 15 16 17 ··· 时间 视频 音频 正常播放 ··· 10 11 12 silent 14 15 16 ··· 13 ··· 10 10 11 12 13 13 14 16 ··· 12 时间 重同步 视频 音频 实际播放 多媒体数据内部约束关系 1. 基于内容的约束关系 同一内容的不同表现形式 需解决的主要问题： 解决的一种办法是： 定义原始数据和不同类型媒体间的转换原则，并由系统来完成调整。 数据更新的一致性 2. 空域约束关系 同一时刻不同媒体的布局 系统定义布局架构： 各媒体对象可以通过固定位置或相对位置进行描述。 空域关系的典型例子： 办公室文档结构ODA 根 复合布局结构单元 基本布局结构单元1 基本布局结构单元2 基本布局结构单元3 3. 时域约束关系 媒体对象在时间上的依赖关系： 电视新闻广播的时域关系： (1) 连续媒体内部各LDU间的相对时间关系 (2) 各媒体对象间的相对时间关系 引导音乐 节目片头 播音员念第1条新闻 音乐渐消 播音员全景 播音员上方图片 时间 话音 音乐 视频 图片 时域约束关系的确立： “视频教学的例子” (1) 信息获取时建立的同步关系 (2) 信息获取后指定的同步关系 实时同步(Live) 3种约束关系中，时域约束关系最为重要。 第1级：操作系统和较低通信层，避免单个流输出时出现颤抖。 第2级：多媒体流运行时(RUN-TIME)的处理(调度器)，限制不同流间失真。 第3级：对时间有关和时间无关媒体之间的运行时(RUN-TIME)支持和用户 互作用的处理，限制它们之间的失真。 多媒体系统的多级考虑时域同步问题： 综合同步(Synthetic) 多媒体数据的构成 多媒体同步研究二大问题： (1) 如何来表示多媒体数据的时域特征； 多媒体数据 成份数据 同步规范 同步 描述 数据 同步 容限 文本 数据 图形 数据 音频 数据 视频 数据 ······ (2) 处理过程中又如何来维持时域特征。 多媒体数据 (时域特征表示) 时域场景 (时域事件序列) 时域事件 确定性 确定性时域场景 非确定性 非确定性时域场景 处理难度大 时域定义方案 时间模型：基本部件及其使用规则 形式化语言：同步描述数据 多媒体对象时域特征的表示过程 时间 T P A 0 6 24 32 P: 图像 T: 文本 A: 音频 多媒体对象 时域场景 抽象 同步描述数据 时间模型 形式化语言 时域特征表示 (同步规范) 同步容限 时域场景可以有不同的描述(时间模型不同)： 针对事件发生的时刻 针对事件发生的相对时刻 针对事件发生的时间间隔 时域参考框架 时域定义方案 多媒体场景 时域场景 时间模型 基本时间单位 关联信息 时间表示技术 形式语言 同步机制 理论和机制 语法部分 语义部分 ——为多媒体研究提供一个很好的技术 描述时域特征的时间模型 (一) 时间模型构成 基本时间单位： 时刻、间隔 关联信息： 定量、定性 场景中的各时域事件彼此相关，描述事件间约束关系 场景中的各时域事件彼此独立，间接反映事件间关系 事件间的时域关系的描述 1. 两个时刻间的时域关系 bef