信息论与编码Chapter 4.pdf

信息率失真函数 Information Rate Distortion Function C SWUST 2011 - All rights reserved 西南科大信息工程学院—马强 本章学习目标 掌握概念：平均失真、信息率失真函数 掌握信息率失真函数R(D)的性质 掌握离散信源和连续信源R(D)的求解方法 2 C SWUST 2011 - All rights reserved 引子 信源压缩的必要性 在满足一定程度的失真条件下，信源可以 压缩多大？ 思考：互信息I(X;Y)与p(b |a )的关系 j i 3 C SWUST 2011 - All rights reserved 1、平均失真信息率失真函数 输入信源X ，经过失真编码器输出Y 失真函数的定义 0 xi yi ⎧ d (x , y ) i i ⎨ a a 0 x y ⎩ i ≠ i 失真矩阵 ⎛d (x1, y1) d (x1, ym ) ⎞ ⎜ ⎟ d ⎜ ⎟ ⎜ ⎟ n 1 n m ⎝d (x , y ) d (x , y ) ⎠ 4 C SWUST 2011 - All rights reserved 1、平均失真信息率失真函数 例 设信源符号X ∈｛0，1｝,编码器输出符号Y ∈ ｛0,1,2 ｝,规定失真函数为d(0,0) ＝d(1,1) ＝ 0;d(0,1) ＝d(1,0)=1;d(0,2) ＝d(1,2) ＝0.5,求失 真矩阵 由式得失真矩阵 d ⎛⎜0 1 0.5 ⎞⎟ ⎝1 0 0.5⎠ 5 C SWUST 2011 - All rights reserved 1、平均失真信息率失真函数 常用失真函数 均方失真： d (xi, yj ) (xi − yi )2 d (x , y ) | x y | 绝对失真： i j i − i d