08MPEG压缩技术介绍.ppt

MPEG-7音频 MPEG-7具体对音频数据的描述符合描述方案有 以下要求： ※特征类型：包括频率轮廓线、音频对象、音色、和声、频率特征、振幅包络、时间结构、文本内容，声波近似值、原型声音、空间结构、生源和它的特征、模型。 ※描述数据的听觉化：MPEG-7数据描述应该容许被索引数据粗略听觉化。 ※音频数据格式：音频数据支持的格式包括数字音、模拟音频、MIDI、基于模型的音频、产品数据。 ※音频数据类：包括声音轨迹、音乐、原子声音效果、语言、符号音频表示、混音信息。 * 多媒体计算与内容分析 MPEG-7视频 MPEG-7具体对视频方面的描述符合描述方案有以 下方面的要求： ※特征类型：颜色、视觉对象、纹理、轮廓（草图）、 形状、静止和动态图像、体积、空间关系、运动、变形、视觉对象的源和它的特性、模型。 ※利用描述进行数据可视化：MPEG-7数据描述应该容 许被索引数据粗略可视化。 * 多媒体计算与内容分析 ※视频数据格式：支持的可视数据格式包括数字视频电视和电影，模拟视频和电影，电子形式的静态图像或打印的图像、图形、3D模型以及与视频关联的编辑数据。 ※视频数据类型：可以是自然视频、静态图像、图形、动画、三维模型、编辑信息。 * 多媒体计算与内容分析 MPEG-7通用实体和多媒体描述方案 通用实体即是特征，可用在音频、视频和文本描述中，所以称为对所有媒体“通用”。例如，矢量、直方图、时间等。多媒体描述方案就要标准化一系列的描述工具（描述符或描述方案）。这些描述工具可以具体分为以下4类： ※内容描述：例如，话音内容，讲话者的脸部图像。 ※内容管理：例如，对媒体的描述（压缩类型、文件格式等）。 ※内容组织：对多媒体数据进行分析和分类。 ※导航与接口：用来详细说明多媒体文档的变化，如修正等。 * 多媒体计算与内容分析 参考软件—校验模型（experimentation model） MPEG-7的校验模型是描述符、描述方案、编码 方案和描述定义语言的仿真平台。这个平台只有一 部分是标准化的。非标准化部分主要是将数据结构 形成程序代码，二者一起构成应用软件。应用软件 分为两部分： 服务器应用软件和用户应用软件。 * 多媒体计算与内容分析 MPEG-7相关概念 数据：MPEG-7描述的多媒体信息，不考虑他们的存储、编码、显示、传输媒介或技术，它们包括图形，静止图像、视频、音乐、语音、文本和其他相关的媒体。 特征：指数据的特征。特征本身不能比较，而要用有意义的特征表示（描述子）和它的实例（描述值）。例如，图像的颜色，语言的声调，音频的旋律等。 描述子：是特征的表示。它定义特征表示的语法和语义，可以赋予描述值。一个特征可能有多个描述子，例如，颜色特征可能的描述子有颜色直方图，频率分量的平均值，运动的场描述，标题文本等。 描述值：是描述子的实例。描述值与描述模式相结合，形成描述。 描述模式DS（Description Scheme）：说明其成员之间的关系结构和语义。成员可以是描述子和描述模式。描述模式和描述子的区别是：描述子仅仅包含基本的数据类型，不引用其他描述子或描述模式。例如，对于影片，按时间结构化为场景和镜头，在场景级包括一些文本描述子，在镜头级包含颜色、运动和一些音频描述子。 描述：有一个描述模式和一组描述值组成。 编码的描述：是对已完成编码的描述，满足诸如压缩效率、差错恢复和随机存取的相关要求。 描述定义语言DDL（Description Definition Language）：一种允许产生新的描述模式和描述子的语言，允许扩展和修改现有的描述机制。 * 多媒体计算与内容分析 MPEG-7相关概念 MPEG-7工作原理 MPEG-7目的是对音频、视频信息进行描述，而不用考虑信息的存储、编码、显示、传输、媒体和技术。它将涉及广泛的媒介类型，例如，静止画面、图形、三维模型、音频、话音、视频以及他们的组合。MPEG-7数据可以是MPEG数据流，录像带，CD中的音乐，声音或语言，打印图像和网络上的交互式多媒体装置。 MPEG-7的重点在于提供一种文本描述方法之外的新的音频、视频描述方法，因此要为音频、视频内容的描述和文本内容的描述提供合适的、必要的接口。 * 多媒体计算与内容分析 MPEG-7的应用 MPEG-7的应用范围非常的广泛，其应用主要包括 可以进行Pull（检索/定位）即“拉”的应用和Push（ 过滤）即“推”的应用。Pull应用指客户通过检索的方 式从服务器获得所需的资料。而Push应用指对网上的 广播信息进行过滤和有效的接收。同时MPEG-7可以应 用在实时（图像和描述同时产生）或非实时的环境。 这些应用主要包括：数字图书馆，图像目录，音乐词 典等