空分多址.ppt

第四章 信息率失真函数 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。 4．1 失真测度 一、失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。 所以信息传输率与信源编码所引起的失真(或误差)是有关的。 首先讨论失真的测度。 离散无记忆信源U，信源变量U＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接收变量V＝ {v1,v2,…vs} 。 对应于每一对(u,v)，我们指定一个非负的函数： 若信源变量U有r个符号，接收变量V有s个符号，则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即： 须强调: 这里假设U是信源，V是信宿，那么U和V之间必有信道。 实际这里U指的是原始的未失真信源，而V是指失真以后的信源。 因此，从U到V之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法， 有时又把p(vj/ui) 称为试验信道的转移概率，如图所示。 [例1] 离散对称信源(r=s)。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs}。定义单个符号失真度： 这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即： [例2] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs} 。失真度定义为： 若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。 当 r＝3时， U＝{0,1,2}，V＝{0,1,2} ，则失真矩阵为： 二、 平均失真度 若平均失真度D不大于我们所允许的失真D，即： D ? D 称此为保真度准则。 4.2 信息率失真函数及其性质 一、信息率失真函数的定义 二、信息率失真函数的性质 首先证明下界: 证明: 求出满足条件 的D中的最小值 ，即 从上式观察可得：在j=1，…，m中，可找到使 值最小的j，当该j对应的pj＝1，而其余pj为零时， 上式右边达到最小，这时上式可简化成 4.3离散无记忆信源的信息率失真函数 二、 信息率失真函数的参量表述 但是，如果要求得到明显的解析表达式，则比较困难，通常只能用参量形式来表达。即便如此，除简单情况外，实际计算仍然是相当困难的。 因为应用拉格朗日乘子法解得的一个或某几个P(vj/ui)很可能是负的。在这情况下，必须假设某些P(vj/ui) =0，然后重新计算，这就使得计算复杂化了。 目前，可采用收敛的迭代算法在电子计算机上求解R(D)函数。 下面介绍用拉格朗日乘子法求解R(D)函数，并用S作为参量来表述率失真函数R(D)和失真函数D(S)。 由式(1)知，当信源的概率分布P(u)固定，平均互信息仅仅是试验信道P(vj/ui)的函数。 若先不考虑式(2)的约束，约束条件式(3)包含r个等式，取拉格朗日乘子? i(i＝1．2，… r)分别与之对应；并取拉氏乘子S与式(4)对应。由此构成辅助函数： (2) (3) (4) (1) 求极值，就是求辅助函数一阶导数等于零的方程组的解。 因为已知平均互信息I(U;V)是信道P的U型凸函数，所以若极值存在，它一定是极小值。即求： 该式共有r*s个方程，加上式(3) r 个方程和式(4) 1 个方程，共有(r+1+ r*s)个方程。 而未知数?i(i=1,2,…,r)、S和P(vj/ui )(i=1,2,…,r，j=1,2,…,s)也正好对应(r+1+ r*s)个，所以原则上只需求解式(6)、(3)和(4)的方程组，即可求出I(U;V)在约束条件下的极小值。 得： (6) 令