九章率失真函数.pptxVIP

会计学;无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。;香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。;失真测度; 首先讨论失真的测度。 离散无记忆信源U，信源变量U＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接收变量V＝ {v1,v2,…vs} 。 对应于每一对(u,v)，我们指定一个非负的函数：;若信源变量U有r个符号，接收变量V有s个符号，则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即：;须强调: 这里假设U是信源，V是信宿，那么U和V之间必有信道。 实际这里U指的是原始的未失真信源，而V是指失真以后的信源。 因此，从U到V之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法， 有时又把p(vj/ui) 称为试验信道的转移概率，如图所示。; [例1] 离散对称信源(r=s)。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs}。定义单个符号失真度：; [例2] 删除信源。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs} (s = r+1) 。定义其单个符号失真度为：; [例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs} 。失真度定义为：;二、 平均失真度; 若平均失真度D不大于我们所允许的失真D，即： D ? D 称此为保真度准则。;信息率失真函数及其性质;寻找平均互信??I(U;V)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj | ui) ，使I(U;V) 取极小值。 由于平均互信息I(U;V)是P(vj | ui)的U型凸函数，所以在BD集合中，极小值存在。这个最小值就是在D ? D的条件下，信源必须传输的最小平均信息量。即：;率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。 ;二、信息率失真函数的性质;解：;上式中第二项最小，所以令 ， ，可得对应 的试验信道转移概率矩阵为; 2、 R(D)是关于平均失真度D的下凸函数 ;信息率失真函数的一般形状 ; 已知信源的概率分布P(u)和失真函数d(u,v)，就可求得信源的R(D)函数。原则上它与信道容量一样，即在有约束条件下求极小值的问题。 也就是适当选取试验信道P(v|u)使平均互信息最小化，; 对于等概、对称失真的信源，存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。;解：由;对应此转移概率矩阵的平均失真： 因此 可求出此时的互信息为：;相应的率失真函数R(D)如图所示。;保真度准则下的信源编码定理;定理的含义是：只要码长k足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即：