DVIP04 信源编码和率失真理论new.pptVIP

第04章 源编码和率失真理论 Source Code and Rate-Distortion Theory 压缩方法 统计编码：两种有效的压缩方法 无失真压缩 Loss-less compression：即熵编码，如游程长 (run-length) 编码和哈夫曼(Huffman) 编码； 2 到 5 倍压缩比 有失真压缩 Lossy compression：即允许有部分失真，遵循率失真函数，如预测编码、变换编码、运动补偿技术等 5 到 250 倍压缩比 －信源的统计特性。 －传输信道引入的损伤，如误码。 －信宿的质量要求。 率失真理论：有损压缩 前面我们已经讨论了离散信源的无失真编码/熵编码理论 但无失真编码并非总是必需的和可能的 无失真压缩存在固有的限制：熵 人的认知器官 人的视觉/听觉系统只能感知有限范围的信号 如果我们不能看见/听见，为什么还编码呢？ 从部分损失恢复的能力 如低帧率会使得运动跳跃，但仍然可被感知 由于受到信息存储、处理或传输设备的限制，而不得不对信源输出的信号作某种近似以降低熵率，如对连续信号的数字化、音视频。 率失真理论：失真度量 1/5 符号 {xn} ? 原始信源输出 {yn} ? 重构输出 平方误差 d(x, y) = (x – y)2 绝对误差 d(x, y) = |x – y| 率失真理论：失真度量 2/5 率失真理论：失真度量 3/5 峰值信噪比 (Peak-signal-to-noise ratio, PSNR) 率失真理论：失真度量 4/5 率失真理论：失真度量 5/5 客观评价：用数学表达式表示原始信号与重构信号之间的差异 如上述准则 不一定符合用户的感知评价，但在数学计算上可以控制 用户主观评价：最终用户评价重构信号的质量（可接受程度） 工作量大 符合用户感知的真实情况，但数学计算可能不好处理 介于二者中间：用数学模型表示人类的感知机制 将信源输出和重构信号都投影到感知空间 然后在感知空间中度量二者之间的差异 但人类感知过程很难建模，或数学模型太复杂 率失真理论：条件自信息 信源编码：将输入符号集 映射成另一个输出符号集 条件自信息 I(aj|bk) 表示在发现信源编码器输出为 bk 时，对应的信源发出符号 aj 的不确定程度。而条件自信息 I(bk|aj) 表示在信源发出符号为 aj 而编码输出为 bk 的不确定程度。 率失真理论：互信息 互信息：自信息与条件自信息之间的差 I(aj) 表示 aj 所含的信息量（不确定性），I(aj|bk) 表示在知道 bk 后 aj 还保留的信息量，所以互信息表示符号 bk 为 aj 提供的信息量。 平均互信息： 表示信源 X 的平均不确定性与其在信源 Y 被确定条件下仍保留的平均不确定性之差，即随机变量 Y 对 X 提供的平均信息量。 率失真理论：互信息-条件熵 平均条件熵 X、Y 的联合熵定义为 率失真理论：互信息- Venn 图 互信息量与熵的关系 例题：若信源编码器是一个简单的一一对应关系，即m=n，且 即 所以互信息 I(aj; bk) = I(aj) ，即 bk 提供了aj 的全部信息。 信息保持编码属于这种情况。例如： 只要传输不出错，则收到任一码字，如 “110” 后，即可判断出所发的信源符号是 “7” 。 率失真理论：互信息 同上例，假设实际信源的 8 个符号，但发现 1,2; 3,4; 5,6; 7,8 两两相差不多，可用同一码字代表，如 n=4 个情况，用 2bit 即可表示，较上面的3bit编码，节省了1bit。但引入了一定的误差，如收到码 “01” 后判断为 “3”，若信源实际发出的是 “4”，则有了误差，这个误差可能是允许的！！！ 该误差的产生是由于对信源的某些符号进行了合并，减少了事件的数目，从而使新信源的熵降低。所以，当集合中事件结构发生变化时，会引起信源概率结构的变化，从而影响到信源熵的变化。 率失真理论：互信息 只要允许误差存在，就可以减少编码输出的字符数，因而也可以降低码率。可是字符数越少，译码误差或失真就越大。 问题：在给定的失真条件下，最小需要多大的码率，才能保证不超过允许的失真。即要确定每个编码符号至少应提供的关于信源符号的信息量。 用互信息表示，即在一定的失真条件下，得到平均互信息 的最小值 min I(X; Y) 。 率失真函数的基本含义 率失真理论：平均互信息 互信息由以下概率决定： 信源符号概率 P(aj) 编码输出符号概率 Q(bk) 已知信源符号出现的条件概率 Q(b