第四章节信息率失真函数.ppt

第四章 信息率失真函数 ;无失真信源编码和有噪信道编码（香农第一定理和香农第二定理）告诉我们： 只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。;;香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。; 4.1 失真测度; 首先讨论失真的测度。 离散无记忆信源X，信源符号集X＝{a1,a2,…,ar}，概率分布为p(x)＝[p(a1),p(a2),…p(ar)] 。 信源符号通过信道传输到接收端，接收端的接收符号集Y＝ {b1,b2,…bs} 。 对应于每一对(ai,bj)，我们指定一个非负的函数：;若信源变量X有r个符号，接收变量Y有s个符号，则d(ai,bj)就有r×s个,它可以排列成矩阵形式，即：;实际这里X指的是原始的未失真信源，而Y是指失真以后的信源。如果假设X是信源，Y是信宿，那么X和Y之间必有信道。 从X到Y之间实际上是失真算法，所以这里的转移概率p(bj/ai)是指一种失真算法， 有时又把 p(bj/ai) 称为试验信道的转移概率，如图所示。; [例1] 离散对称信源(r=s)，“0-1”失真。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs}。定义单个符号失真度：; [例2] 删除信源。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} (s = r+1) 。定义其单个符号失真度为：; [例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：;二、序列失真度;三、 平均失真度; 若平均失真度D不大于我们所允许的失真D0，即： D ? D0 称此为保真度准则。;4.2 信息率失真函数及其性质;寻找平均互信息I(X;Y)的最小值。而PD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合PD中寻找一个信道p(bj / ai) ，使I(X;Y) 取极小值。 由于平均互信息I(X;Y)是p(bj / ai)的U型凸函数，所以在PD集合中，极小值存在。这个最小值就是在D ? D0的条件下，信源进行传输的最小平均信息量。即：;率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系; 其逆函数D(R)称为失真率函数, D(R)表示一定信息速率下所可能达到的最小的平均失真。 ;二、信息率失真函数的性质;解：;上式中第二项最小，所以令 ， ，可得对应 的试验信道转移概率矩阵为:; 2、 R(D)是关于平均失真度D的下凸函数 ;4.3 离散无记忆信源的信息率失真函数;一、 等概率、对称失真信源的R(D)计算 ;解：;对应此转移概率矩阵的平均失真： 因此: 可求得此时的互信息为：;二、 信息率失真函数的参量表述;困难在于： 要得到显式的解析表达式，则比较困难，通常只能用参量形式来表达。 要保证约束条件式p(bj/ai) ?0，应用拉格朗日乘子法解得的某些p(bj/ai)很可能是负的。在这情况下，必须假设其p(bj/ai) =0，然后重新计算，这就使得计算复杂化了。 下面介绍用拉格朗日乘子法求解R(D)函数，并用s作为参量来表述率失真函数R(s)和失真函数D(s)。; 由 (1)式知，当信源的概率分布p(x)固定，平均互信息仅仅是试验信道p(bj/ai)的函数。 若先不考虑 (2)式的约束，约束条件 (3)式包含n个等式，取拉格朗日乘子?i(i＝1,2,… n)分别与之对应；并取拉氏乘子s与 (4)式对应。由此构成辅助函数：;求极值，即为求(5) 式一阶导数等于零的方程组的解。 已知平均互信息I(X;Y)是信道P的U型凸函数，所以，若极值存在，它一定是极小值。即求：;;经整理得结论：;注：这时所得的结果是以s为参量的表达式，而不是显式表达式