第四章_信息率失真函数_lgy精编.ppt

第1章：概述; §4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数 §4.4 保真度准则下的信源编码定理;实际通信系统允许一定的失真存在。;§4.1 信息率失真函数;对任一;a1 ;汉明失真;由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为 ? ;;N次扩展信道的平均失真度：;由信源和信道的无记忆性;§4.1 信息率失真函数;信源编码器;信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真 的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(bj/ai)就对应信道转移概率。 ;;由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai) 的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道p(bj/ai)，使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 ;N次无记忆扩展信源和信道：;§4.1 信息率失真函数;定义域：;令;线性分配;假定所有Dj中，Ds最小，令;例4.1.1 二元信源为 ，相应的失真矩阵 ，计算Dmax 。 ;下凸性;定义新试验信道：;由 对 的下凸性：;连续和单调递减性;§4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数 §4.4 保真度准则下的信源编码定理;§4.2离散信源的信息率失真函数;;令;令;; ;;§4.2离散信源的信息率失真函数;1;二元信源的率失真函数;;;;;;1;推广至n元等概率信源，信息率失真函数为：;§4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信源的信息率失真函数 §4.4 保真度准则下的信源编码定理;§4.3连续信息的率失真函数;定义;下确界;§4.3 连续信息的率失真函数;§4.3.2 高斯信源的率失真函数;;(条件方差);根据詹森不等式：;;高斯信源的率失真函数;§4.3连续信息的率失真函数;§4.3.3 信息价值;合格品出厂：;不经检验全部出厂：;检验完全正确：;检验不十分可靠：;;C;§4.4 保真度准则下的信源编码定理