多媒体技术3概要.ppt

声音的标准 声音的质量标准有哪些？ 红皮书标准（ISO10149）：16 bits @ 44.1KHz，176 KB/s（双声道） 电话质量：8 bits @ 8KHz，64Kbps (8KB/s) 声音的质量是如何度量的？ 客观度量——信噪比（SNR） 主观度量——主观平均判分法（mean opinion score，MOS）1—5 3.1.2 声音的编码和压缩 为什么要进行数据压缩? 电话质量的声音（64 Kbps）：一个CDROM可存储23小时 CD质量的声音（1.4 Mbps）：一个CDROM可存储1小时 压缩的原理是什么？ 以一定的质量损失为容限，按照某种方法从给定的信源中推出简化的数据描述——减少原始信源的冗余度。 与压缩相关的指标有哪些？ 压缩比大 算法简单 恢复效果好 听觉冗余 人耳对不同频率的声音的敏感性是不同的，并不能觉察所有频率的变化。对某些频率不需要关注，因而存在听觉冗余。 人感受频率的能力与频率是对数关系而不是线性关系。 什么是无损压缩与有损压缩？ 无损压缩（冗余压缩、熵编码） 压缩后的数据能够完全恢复压缩前的状态（无信息的损失） 举例：游程编码、Fano-Shannon /Huffman、算术编码、Lempel-Zev（2:1—5:1） 有损压缩（熵压缩） 压缩后的数据不能够完全恢复压缩前的状态（有信息的损失） 举例：DCT、分形（几十—上百倍） 有哪几种声音的（压缩）编码？ 波形编码（PCM）、音源编码、混合编码 什么是波形编译码器？ 基于音频数据的统计特性。重构信号的波形与原始话音的波形尽可能一致（16 Kbps） 特点：简单、延迟短、质量高，数据速率较高、对传输错误敏感 种类：PCM、DPCM、ADPCM、子带编码、自适应变换编码 什么是预测编码？ 编码器记录与传送的非样本真实值，而是与预测值的差。由于相关性，差值的变化范围小于真实值的变化范围。 预测编码的性能决定于预测器的性能，所谓最佳预测器就是在某一准则下使预测编码的性能达到最佳的预测器 误差均方值最小准则 零（无）误差概率最大准则 误差平均分布熵最小准则。 部分声音编码 1、预测编码 对于语音，就是通过预测去除语音信号时间上的相关性。而对于图像，帧内预测去除了空间上的冗余，帧间预测则可以去除时间上冗余。 目前大多数语音、图像编码中都采用了预测技术。 例如语音中的LPC(linear Predictive Coding，线性预测)、CELP(码激励线性预测)、图像中的ADPCM(自适应差分脉冲编码调制)等。 * 2、变换编码 变换编码首先把要压缩的数据变换到某个变换域中，然后再进行编码。 变换域中表现为能量集中在某些区域，就可以利用这一特点在不同区域间有效地分配量化比特数，或者去掉这些能量很小的区域，从而达到数据压缩的目的。 例如声音中的频谱分析实际上是对语音波形进行了快速傅里叶变换（FFT），将时域信号变到了频域中，可以清楚地看到能量集中在哪些频率范围内。 * 有哪些音频压缩国际标准？ 算法 名称 数据率 标准 应用 质量 波形编码 PCM 均匀量化 公共网ISDN配音 4.0~4.5 对数PCM μ/A律 64Kbps G.711 APCM 自适应量化 DPCM 差值量化 ADPCM 自适应差值量化 32kbps G.721 SB-ADPCM 子带-自适应差值量化 64kppbps G.722 5.3kbps 6.3kbps G.723 参数编码 LPC 线性预测编码 2.1kbps 保密话音 2.3~3.3 分析-合成 混合编码 CELPC 码本励LPC 1.6kbps 移动通信 4.0~3.7 VSELP 矢量和激励LPC 8kbps 语音邮件 RPE-LTP 长时预测规则码激励 13.2kbps ISDN LD-CELP 低延时码激励LPC 16kbps 8Kbps G.728 G.729 MPEG 多子带-感知编码 128kbps CD 5.0 AC-3 感知编码 音响 5.0 3.1.3 声音的处理 声音的处理软件包括什么功能？? 处理数字化声音 录、放、音量调整、格式转换 编辑：分段、组合、首尾处理（渐高、渐低） 效果处理：延展、回声、倒序、音色效果（频率均衡） 压缩（通常由硬件完成） ?演示：音效——Multimedia Sound Video / Sound / Chap2 3.1.4 声音的检索 多媒体数据检索分为哪两类？ 基于表示的检索：检索仅与数据类型和结构有关，不分析内容；使用约束来限定检索空间（SQL） 基于内容的检索（Content Based Retrieval, CBR） ? 什么是声音的检索？ 通过声音示例，得到与示例相关的声音。 利用声音的特征：频