信息论导论--第7章 信息率失真理论.ppt

第7章 信息率失真理论 理解单符号离散信源信息率失真函数的定义和性质，掌握失真度取值范围和实验信道的计算； 了解信息率失真函数计算的参量表达式的推导，计算步骤的整理； 掌握二元信源和等概率信源信息率失真函数的的导出和计算； 掌握高斯信源信息率失真函数的导出和计算； 理解保真度准则下信源编码定理；了解连续信源编码。 引入限失真的必要性 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系； R(D)函数是限失真信源信息处理的理论基础； 图像压缩、视频压缩、音频压缩 问题的提出 对j求和 乘P(xi)，对i求和 信息率失真函数的计算步骤 参量S与R(D)的关系 乘P(yj)，对j求和 由R(D)对D的严格下凸性和单调递减性，有 S 0及 6、二元信源的信息率失真函数 二元信源 设失真矩阵 参量S的取值范围 当α=1时， R(D) S D 0.5 0.25 p=0.25 p=0.5 0 0.693 0.562 -1.099 二元信源 求允许失真D的取值范围，并求D=1/8时该信源的信息率失真函数R(D) 。 取汉明失真矩阵 例2 当D=1/8时， 7、等概率信源的信息率失真函数 n元等概率信源 设失真矩阵 … … * 信息率失真理论 * 2010年3月 信息论导论 通信与信息工程学院 杨海芬 通信的实质是传输信息，要求传输的有效性和和可靠性。有效性——在不失真或允许失真的条件下，用尽可能少的符号传送信源信息。信源编码分为无失真和限失真。 （1）无失真编码，又名冗余度压缩编码：仅对信源的冗余度进行压缩，不改变信源的熵； （2）限失真编码，又名熵压缩编码：在失真受限的情况下进行限失真编码。 信源编码的分类 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 　无失真编码是可逆的，即当信源符号变换成代码以后，可以从代码无失真地恢复出原信源符号。只适用于离散； 限失真编码定理 　在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列来完成无失真编码，而只能进行限失真编码。 一、单符号离散信源的信息率失真函数 ①失真度 1、平均失真度和保真度准则 对应于离散消息xi与yj或连续消息x与y的非负函数d(xi,yj)或d(x,y)为失真度。 定义 常用的失真度： 汉明失真度 平方误差失真度 对于单符号离散信源，全部n×n个失真度组成的矩阵称为失真矩阵 ②平均失真度 各失真度的数学期望为平均失真度。 定义 ③保真度准则 如果给定的允许失真为D， 表示 单符号离散信源概率分布P(X)不变时调整信道，满足保真度准则 的信道P(yj/xi)，称为D失真许可的实验信道。 实验信道的集合 2、信息率失真函数 ① 实验信道 定义 表示 信源概率分布P(X)不变时，保真度准则下平均互信息量的最小值为该信源的信息率失真函数，用R(D)表示。 ②信息率失真函数 定义 信源固定时，平均互信息量是信道转移概率分布P(Y/X)的严格下凸函数，在实验信道的集合中找到一种信道转移概率分布P(Y/X) ，使通过信道的平均互信息量在保真度准则下达到最小。 表示 3、信息率失真函数的D定义域 允许失真D是平均失真度 的上界，允许失真D的给定范围受限于平均失真度 的可能取值。 当D =Dmin=0，即不允许任何失真时 R(D)=H(X) 根据R(D)的意义，当 即出现最大失真时R(D) =0 同样也是R(D) =0 如果 其中 例1 二元等概率信源的失真矩阵 ，求允许 失真D的取值范围和 时的所有实验信道P(Y/X)。 4、信息率失真函数的性质 ①对D具有非负性 ②对D具有严格下凸性 由I(X;Y)的非负性即可说明 证明见板书 设第1个试验信道满足D1条件下R(D)的定义 第2个试验信道满足D2条件下R(D)的定义 取一个新的试验信道 该试验信道可能满足也可能不满足αD1+(1-α)D2条件下R(D)的定义 另一方面，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数 ③对D具有单调递减性 由R(D)对D具有的非负性、严格下