秋信息论第章限真信源编码.pptVIP

* 5.3 限失真信源编码定理和逆定理 信源 试验信道 信宿 * 信源编码这样进行： 当信源发送序列xi时，就从分组码Y中选取一个使失真最小的码字。 分组码Y的平均失真度为 如果 则称分组码Y是满足保真度准则D的允许码。对于包含M个码字，码长为n的分组码（M，n）其最大信息传输率为R=(logM)/n. 即 信源 试验信道 信宿 * * * 对于任意D0,R(D)是允许码的可能的最小速率。 限失真编码逆定理 5.4 信息率失真函数的计算 已知信源的概率分布和失真函数，就可以确定信源的信息率失真函数，它是在约束条件，即保真度准则下，求极小值的问题，一般情况下难于求得闭式解，常采用参量表示法，或采用迭代算法求解。 本章要求 会求平均失真 掌握信息率失真函数定义 理解限失真信源编码定理及其逆定理 作业：5.1，5.4 * * * * * 第5章 限失真信源编码 无论是无噪信道还是有噪信道，只要信息传输率R小于信道容量C，总可以找到一种编码方法，使得编码后的信息传输率R’任意接近信道容量C，且由于信道所产生的错误译码概率任意小。 反之，如果R大于C，在任何信道上都不可能实现译码错误概率任意小的无失真的传输。 在信道传输信息时，是否必须完全无失真呢？ 很多情况下，不可能进行无失真信源编码—— 如，连续信源的熵 H 为无限大 很多应用中，没必要进行无失真信源编码—— 如，人眼所能分辨的灰度级 、颜色都是有限的. 人耳仅能感受 几百Hz~十几KHz 的声音信号。 为什么研究 限失真信源编码？ * 图像压缩 8K 10K 14K 在实际生活中，通常总是要求在保证一定质量的前提下，在信宿端近似地再现信源输出的信息，或者说，在保真度准则下允许信源输出存在一定的失真。 对于给定的信源（熵H(X))，在允许的失真条件下，信源熵所能压缩的极限（信息率失真R(D)）理论值是多少，如何计算，是本章要讨论的问题。 信息率失真理论研究的是信源熵压缩问题，但采用了研究信道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。 信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。 * 信 源 信 宿 试验信道 * 主要内容 1 失真测度 2 信息率失真函数 3 限失真信源编码定理和逆定理 4 信息率失真函数的计算 * 5.1 失真测度 * 图像处理中，常用平方误差和绝对误差度量失真 5.1.1 失真函数 * ——失真矩阵 * 平方失真矩阵 汉明失真矩阵 绝对失真矩阵 r=3时 * 0 1 0 ε 1 * 矢量失真函数： ——矢量失真矩阵 例7.1.2 假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi的取值为{0,1}；经信道传输后的输出为Y=Y1Y2Y3，其中Yi的取值为{0,1}。定义失真函数 求矢量失真矩阵。 5.1.2 平均失真 * 信源特性 单个符号的失真函数 试验信 道特性 失真函数的数学期望称为平均失真。 失真函数选为汉明失真，假定允许的失真限度D*=1/2，试分析信息可压缩的程度。 若进行二进制无失真信源编码，平均每个符号至少需要log(2r)个码元。若采用编码方案 信息传输率： 如果有k+1个符号的编码相同，则 信源的信息传输率的压缩程度： 信息率~失真——允许失真 ?所需信息率 上例中的编码方案只是满足失真限度条件的一种，并没有最大限度地压缩信息率，还存在其他的编码方案能够满足失真限度。 那么，在给定失真条件下，信息率压缩的极限值是多少呢？ 信息率失真函数给出了压缩下界。 * 5.2 信息率失真函数 信源 试验信道 信宿 5.2.1 D允许信道（试验信道） * 信源 试验信道 信宿 * 信息率失真函数(率失真函数) 对离散无记忆信源： 5.2.2 信息率失真函数的定义 在D允许信道BD中寻找一个信道p(Y/X)，使给定的信源经过此信道传输时，其信道传输率I(X;Y)达到最小，这个最小值定义为 对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)，是信息率允许压缩到的最小值。 信道容量 率失真函数 * 信道固定,信源分布可变 信源固定,失真度固定，信道可变 选择信源，使得互信息最大 选择试验信道，使得互信息最小 为了充分利用特定信道，使传输的信息量最大 为了在一定的失真条件下，尽可能用最少的码符号来传送信源消息 信道编码定理：R C 限失真信源编码定理： R R(D) * 5.2.3 率失真函数的性质 R ( D ) D 0 H(x) Dmax D* R(D*) 1. D=0 r R ( D ) D 0 H(x) Dmax D* R(D*) （3） （4） 例： R (