第7章 信息率失真理论.ppt

一、离散信源的信息率失真函数 二、连续信源的信息率失真函数 当α=1时， R(D) S(D) D 0.5 0.25 p=0.25 p=0.5 0 当p=0.5，即二元等概率信源时的信息率失真函数 6、等概率信源的信息率失真函数 对于n元等概率信源，其信息率失真函数 当α=1时， 例2、二元信源的概率分布 求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D=1/8时的R(D)值。 失真矩阵 解： 当D=1/8时， 例3、三元等概率信源的失真矩阵 求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)值。 解： 当D=1/3时， 习题：4.1、4.11 定义随机变量X、Y之间的失真函数为非负函数d(x,y)，则平均失真度 记实验信道的集合 定义信息率失真函数 * 电子科技大学 * 第7章 信息率失真理论 由香农第一定理可知，对N维离散平稳无记忆信源进行无失真的m元不等长组编码，必然要求当N足够大时每个信源符号所对应码字的平均比特数即信息传输率满足 对连续信源，由于其绝对熵无穷大，无失真信源编码不可能实现。 即使对离散信源，一方面无失真信源编码要求信息传输率高于香农界，另一方面香农第二定理对无失真信道编码提出信息传输率RC的要求，两者往往难以兼顾。 幸好，一般通信系统允许一定的失真存在。 信息率失真理论退而求其次，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。 对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？ 需要研究的问题是： 由信息传输率R=I(X;Y) 的凸函数性： 信源固定时，信息传输率是信道转移概率分布的下凸函数。 因此，总能找到一种信道转移概率分布，使信息传输率最小。 如果不规定允许失真，当信道转移概率分布p(yj/xi)=p(yj)时，必有信息传输率R=0，显然，这个下限无意义。 (1)失真度 设单符号信源为 该符号经信道传输后对应一个m元信宿。 1、平均失真度 定义非负函数d(xi,yj) i=1,2, …,n; j=1,2, …,m为失真度。 称全部n×m个失真度组成的矩阵为失真矩阵： 常用的失真度有： 相应的失真矩阵 当α=1时，称为汉明失真矩阵。 称为平方误差失真度。 (2)平均失真度 (3)保真度准则 则称 为保真度准则。 如果给定的允许失真为D 当信源p(xi)固定，调整信道p(yj/xi) ，凡满足保真度准则 的信道，称为D失真许可的实验信道。 实验信道的集合 定义保真度准则下的最小信息传输率为信息率失真函数。 2、信息率失真函数的定义 由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj/xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。 3、信息率失真函数的性质和定义域 ①R(D)具有非负性 ②R(D)是D的下凸函数 ③R(D)是D单调递减连续函数 因此，可知信息率失真函数R(D)的大致曲线为： D R(D) ④信息率失真函数的定义域 由于允许失真D是平均失真度 的上界，故允许失真D的给定范围受限于平均失真度 的可能取值。 特别地，当D =Dmin=0，即不允许任何失真时 R(D)=H(X) 根据R(D)的性质可知，当D =Dmax时， R(D) =0 如果D Dmax，同样R(D) =0 解： 例1、二元等概率信源的失真矩阵 求允许失真度D的取值范围并求使允许失真度 的实验信道P(Y/X)。 信息率失真函数可以通过平均互信息量在满足保真度准则前提下信源固定时对信道转移概率分布的条件极值来求取。 信道转移概率分布的n个约束条件是 平均失真度的约束条件是 4、信息率失真函数的参量表达式 根据拉格朗日乘子法，设 对j求和 乘p(xi)，对i求和 将信息率失真函数的计算步骤整理如下： 参量S的取值范围 乘p(yj)，对j求和 由信息率失真函数的下凸性和单调递减性，可知S 0及 R(D) D S(D) 二元信源 设失真矩阵 5、二元信源的信息率失真函数 * 电子科技大学