第八章 信息率失真理论及其应用.pptVIP

以上是根据例子得到率失真函数及其斜率曲线的特性，下面看一下率失真函数的物理意义。 信息率太小，传输的信息量越小，对压缩的要求越高，可能找不到可用的编码方式。 (6) 求R(S)，将上述结果代入有 无记忆信源R(D)的计算 对于这种简单信源，可从D(S)解出S与D的显式表达式。 无记忆信源R(D)的计算 无记忆信源R(D)的计算 若α=1，把d(xi,yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi,yj)的数学期望就是平均误码率。能容忍的失真等效于能容忍的误码率。 二元对称信道的S(D)和R(D)曲线 R(D)函数的S必然负值； S是D的递增函数； 当D=0时，S趋于负无穷； 当D=Dmax时：S达到最大，这个最大值也是某一个负值，最大是0； 在D的定义域[0, Dmax]内，S将是D的连续函数。 当D相同时，信源越趋于等概率分布，R(D)就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。 二元对称信道的S(D)和R(D)曲线 关于S(D) 它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可以用，但它们的定义域不同； p=0.25时定义域是D=0~0.25，即到A点为止，此时 Smax=－1.59。D0.25时，S(D)就恒为0了。所以在A点S(D)是不连续的； 当p=0.5时，曲线延伸至D=0.5处，此时Smax=0，故S(D)是连续曲线，定义域为D=0~0.5。 二元对称信道的S(D)和R(D)曲线 对于不同的实际信源，存在着不同类型的信源编码，并可以求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真没有实际意义，这时R(D)函数具有更大的价值。 R(D)的意义 阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。 R(D)的意义 第8章信息率失真理论及其应用 8.1 一般概念与定义 8.2 率失真函数的基本性质与有失真时的逆信源编码定理 8.3 无记忆信源R(D)的计算 8.4 有失真时的离散无记忆信源编码定理 设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，若该信源的信息率失真函数是R(D)，并选定有限的失真函数。对于任意允许平均失真度D≥0，和任意小的ε0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C,使译码后的平均失真度 ； 反之，若RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。 Shannon第三定理 上述定理也称为限失真信源编码定理。该定理可推广到连续平稳无记忆信源的情况。 信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。 Shannon第三定理 香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 * 本章小结 本章讨论了离散消息的失真函数和信息率失真函数，同时对连续消息也做了相应的讨论。限失真信源编码定理是本章的重点，由此引出了信息价值这一具有实际意义的概念。但该定理只是一个存在性定理。在实际应用中，该理论主要存在着两大类问题。第一类问题是符合实际信源的R(D)函数的计算相当困难。首先，需要对实际信源的统计特性有确切的数学描述；其次，需要对符合主、客观实际的失真给予正确的度量，否则不能求得符合主、客观实际的R(D)函数。 第2类问题是即便求得了符合实际的信息率失真函数，还需要研究采取何种最佳编码方法才能达到极限值。尽管如此，限失真信源编码定理仍为信源的压缩编码指明了方向，是各种信源压缩编码的理论基础。 例如DVD电影可以压缩 对于连续信源，实际中不可能无失真。 允许失真：译码发现错误 失真如何度量（失真函数） L维矢量失真实际上是对每个分量的平均失真再次求平均 对于不同的信源编码方式， Pij不同。例如对于没有失真的信道，如果两个符号编成同一个码，那么信源译码时将发生错误，这是由于有失真的编码所造成的。举例。 率失真函数定义为PD上的最小信息速率。第二章学习过，互信息是p(yj|xi) 的凹函数。信息速率越小，信源被压缩地越多（通过引入失真来压缩信源）。 从另一个角度来谈信源失真编码的问