第六节 限失真信源编码.pptVIP

信息论基础Fundaments of Information Theory 武汉科技大学信息科学与工程学院 第六章 限失真信源编码 限失真信源编码的概念 失真测度 信息率失真函数及其性质 信息率失真函数的意义 限失真信源编码 限失真信源编码的概念 问题的引入： 根据信道编码定理，信道不可能实现对消息的完全无失真传输。 限失真信源编码的概念 问题的引入： 在实际生活中，人们并不要求获得完全无失真的消息，通常只要求近似地再现原消息，也就是允许一定的失真存在。 限失真信源编码的概念 既然允许一定的失真存在，那么对信息 率的要求便可降低。换句话说，就是允许压缩 信源输出的信息率。信息率与允许失真之间的 关系，就是信息率失真理论所要研究的内容。 限失真信源编码的概念 例：电报： 1：母亲患癌症，情况危急，请速归。 限失真信源编码的概念 限失真信源编码的概念 信源符号经过信道传输到接收端Y 对每一对 ，指定一个非负函数 失真度还可表示成矩阵的形式: 例：设信源符号集 信道输出符号集 例2：设信源符号集 信道输出符号集 例3：设信源符号集 信道输出符号集 只能表示两个特定的具体符号 和 之间的失真。 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性 、信道统计特性 和失真度 的函数 。当 ， 和 给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 信息率失真函数 保真度准则: 平均失真不能超过人们允许的某一限定值 信息率失真函数 凡是满足保真度准则的信道，称为失真许可的实验信道。所有失真许可实验信道组成的一个集合用表示，即有 信息率失真函数 在信源给定以后，总希望在允许一定 失真的情况下，传送信源所必须的信息率越 小越好。 信息率失真函数 信息率失真函数 R(D) 是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其 R(D)是不同的。 平均互信息I(X;Y)是信源概率分布p(xi)的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即 信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有关，反映信道特性，与信源特性无关； 信息率失真函数 R(D)一旦求出后，就只与信源概率分布 p(xi) 有关，反映信源特性，与信道特性无关。 解决的问题 信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现； 信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。 R（D）的定义域 Dmin和R(Dmin） Dmax和R(Dmax） 不允许任何失真时，平均传送一个信源符号所需的信息率最大，即必须等于信源熵，这也是平均互信息的上限值。当允许一定失真存在时，传送信源符号所需的信息率就可小些。反过来说，必须的信息率越小，容忍的失真就越大。当R(D)等于零时，对应的平均失真最大，也就是R(D)函数定义域的上界值Dmax Dmax和R(Dmax） 定义：对于给定信源X，其信源的概率分布： p(xi) ，在选定的失真函数d(xi,yj)下，能使平均互信息量I(X;Y) =0的最小平均失真度为允许平均失真度的上界值。 信息率失真函数是D的下凹型函数 信息率失真函数是定义域的单调递减函数 信息率失真函数是D的连续函数 设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D≥0，和任意小的ε0，当信息率 RR(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。 信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。 信息率失真函数的性质 信息率失真函数的性质 信息率失