第五章信息率失真函数课题.pptVIP

第五章离散信源的限失真信源编码;5.1 引言;5.1引言;本章讨论主要问题： 在允许一定失真存在的条件下，能够将信源信息压缩到什么程度，即最少需要多少比特信息才能够描述信源，如何能够快速的传输信息。 信息率失真理论的基本概念： 在允许传输消息出现一定的失真条件下，传输该消息所需的信息率(最小值)将会比不允许失真时小，并且允许的失真度越大，则信息率(最小值)允许减小的程度就越大。 ;5.2平均失真和信息率失真函数;失真函数;失真大小用失真函数d(xi,yj)表示 失真函数又称为失真度。为简化起见，d(xi,yj)简写成dij，;失真函数类型; 若X和Y集合都由N个不同符号构成的，那么可组成N2个不同的(i,j)对，相对应的失真函数也有N2个,dij表示方法有两种： 失真矩阵D 消息传输图;将所有失真函数排列起来，得到失真矩阵D;消息传输图;失真函数性质：; 例1：已知X＝Y＝{a1， a2}，且有d11＝d22＝0，d12＝d21＝1，用两种方法表示失真函数 解：失真矩阵D为： 消息传输图为：;例2：已知X={0,1,2,3,4,5}，Y={0,1,2}，X和Y集合符号之间的失真函数值分别为d00=d11=d22=0，d30=d31=d41=d42=d50=d52=1，d01= d02 = d10=d12=d20=d21=2，d32=d40=d51=3。这些失真函数值的由来可形象化地用正六角形表示，其中每条条边相当于失真函数值为1。;;平均失真函数： 由于失真函数d(xi,yj)是随机变量，为了估计全体信源发出的消息符号与接收符号之间的失真程度,需要计算各个失真函数的统计平均值(数学期望)。平均失真函数定义为： ;【注】平均失真函数与单符号失真函数、信源统计特性（信源概率）、信道统计特性（转移概率）有关。当信源和失真函数给定时，选择不同信道相当于选择不同编码方法，所得到的平均失真函数也不同。; 若X和Y都是K维矢量消息的集合，也可以定义两个矢量消息之间的失真函数为： ;保真度准则： 若平均失真函数不大于所允许的失真度D，即 称为保真度准则。 ;;信息率失真函数;把有失真的信源编码器看作有干扰的假想信道， 用分析信道传输的方法研究限失真信源编码问题。;【说明】 信息传输速率在数值上等于平均互信息I(X; Y) I(X;Y)=H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下的信息量差。 这里仅仅考虑信源压缩问题，不考虑噪声的影响，只考虑由于信息的存储和传输时需要去掉的冗余，即对信源的原始信息在允许的失真限度内进行了压缩，把这种失真等效成由噪声而造成的信息损失，看成一个等效噪声信道（又称试验信道）。此时的信道转移矩阵实际上指的是一种限失真信源编码方法。;平均失真函数由信源分布、转移概率、失真函数决定;信息率失真函数R(D)定义： 在给定信源消息的概率分布{P(xi)}及平均失真函数允许值D的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息传输率的最小值： 单位为bit/符号。;平均互信息量的凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数 （最大值）——信道容量 (2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数 （最小值）——率失真函数;二进制对称信道 q不变时, I(X;Y)为上凸曲线。p=0.5时有最大值 p不变时, I(X;Y)为下凸曲线。q=0.5时有最小值;【注】 由于平均互信息量I(X;Y)是p(yj|xi)的下凸函数，所以在PD集合（满足保真度准则的试验信道的集合）内，极小值存在。该极小值就是在失真度准则的条件下，信源必须传输的最小平均互信息量。 对于离散无记忆信源 ;K维信源矢量的信息率失真函数RK(D) ;信息率失真函数R(D) 的等效定义 ;【总结】 （1）由定义，R(D)函数是在限定失真为最大允许失真D时信源最小信息传输速率，它是通过改变试验信道特性来达到的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。 （2）在研究信息率失真函数R(D)时，引用的的信道传输概率 p(yj|xi)并没有实际信道的含义，是为了求平均互信息量极小值而引用的假想可变试验信道。即不同的试验信道特性Pij’求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优