第四 信息率失真函数.pptVIP

离散无失真信源编码定理 定长编码定理 由L个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列X1X2…Xl…XL，可用K个符号Y1Y2…Yk…YK（每个符号有m种可能取值）进行定长编码，对任意ε0, δ0,只要 则当L足够大时，必可使译码差错小于δ。反之当 译码必定出错。 变长编码定理 若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式 信道编码定理 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值 4.4.1 限失真信源编码定理 对于无失真信源编码来说，在允许一定失真的情况下，信源输出信息率最少可减少到信息率失真函数R(D) ，有可能是多个信源符号（符号序列）对应一个码字（码字序列）。失真信源编码定理就是关于信息率和失真关系的一个极限定理，也称香农第三定理，即是保真度准则下的离散信源限失真信源编码定理。 定理1 设R(D)是离散无记忆信源的信息率失真函数并且失真函数为有限值．对于任意的允许失真度D≥0和任意小的正数ε0，当信息率R满足: RR(D) 时,只要信源序列长度L足够长时，一定存在一种编码C ，使编码后的平均失真度 反之, 若RR(D)【过度压缩】,则无论用什么编队码方式,必有 即译码失真度必大于允许失真度（无法译码了）. 限失真信源编码定理也是一个极限存在定理，不能像无失真信源编码定理那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码，至今尚无合适的可实现的编码方法来接近R(D)这个极限。常用的限失真信源编码有量化编码、预测编码、变换编码。 香农三大定理的共同点: H(X)、C、R(D)分别为临界值，衡量通信能否满住要求的重要界限。 由高斯最大熵定理，Y=y条件下的最熵为： D(y)是在Y=y条件下的条件方差 根据连续条件熵定义，有： 根据詹森不等式： Y X N 反向加性高斯实验信道 1 2 得到结论： 见 下 图 高斯信源的率失真函数 可以压缩 信道中断 合格品a1，p(a1)=0.99,废品a2， p(a2)=0.01生产过程抽象成信源： 例 把检验过程看作信道，检验结果即为信道输出。 信息对不同的人有不同的效用 合格品出厂： b1：检验合格 b2：检验不合格 废品报废： 合格品报废： 废品出厂： 不经检验全部出厂： 1 不经检验全部报废： 2 平均损失： 平均损失： 结论：出厂废品比报废合格品损失更大。 检验完全正确： 3 检验不十分可靠： 4 比最大损失减少了： 0.99-0.199=0.791 元 结论:有误差检验比无误差检验的信息价值要高,即确定性问题比随机问题能提供的信息少. 体现出互信息量的效用：获得了0.025bit 的信息，使损失了0.791元。 信息率R的价值 价值率 信源压缩的基础 信息传输的基础 解决有效性问题 解决可靠性问题 仅与信源特性有关 仅与信道特性有关 的函数 的函数 的条件极小值 的极大值 的下凸函数 的上凸函数 R(D) C 信道容量与率失真函数比较 §4.4 保真度准则下的信源编码定理 则 RR(D) ? RR(D) 可以得到计算Dmax的公式: j =1,2, …, m 下凸性 2 D H(X) R(D) 离散 连续 证明： 定义新试验信道： 满足保真度准则 由 对 的下凸性： 连续和单调递减性 3 D H(X) R(D) 离散 连续 §4.2 离散信源的信息率失真函数 求解 只提供思路 §4.2.1 离散信源信息率失真函数的参量表达式 求解方法与