信息论chap介绍.ppt

第九章 率失真函数 引言 Shannon三个编码定理 无失真信源编码定理 RH 有噪声信道编码定理 RC 率失真信源编码定理 有失真时能做什么 结论：只要信道传输速率小于信道容量，总能找到一种编码方法使得差错概率任意小。反之则不可达 问题：并不是所有时刻都需要无失真，有时候需要数据压缩，此时率失真编码出现 ，其研究在允许一定失真的前提下，信源可以压缩的最大程度。 引言 不等长编码平均长度不超过HL(U)/logD+1/L可以无失真 等长编码[HL(U)+e]/logD失真不会超过给定值 传输信息允许失真，信息率可以下降 引言 香农论述了限定失真范围内的信源编码问题，定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 一般概念与定义 系统模型 有扰信道 系统模型 简化后的信道 系统模型 结论： 在试验信道环境下，率失真的研究目标转化为在给定允许失真条件下，是否可以设计一种信源编码使信息传输速率为最低。 例：H(U)=2.24 失真度 由来 直观上看，允许的失真越大，则信息传输的速率可 越小；若允许失真越小，信息传输率需越大。信息传输率与信源编码所引起的失真(或误差)是有关的 单符号失真度 率失真函数及其性质 有失真时的信源编码定理 Shannon第三定理 R(D)为离散无记忆信源的信息率失真函数，D为允许的失真度，则只要实际的信息率R满足R≥R(D)，就存在一种编码方法，使其译码的平均失真度D≤D+ε，其中ε为任意小的正数；反之，若R＜R(D)，则无论如何编码，都不能使D≤D+ε。 有失真时的信源编码定理 两个遗留问题 1、符合实际信源的R(D)函数很难计算 需要对实际信源的统计特性有确切的描述 需要对符合主客观实际的失真予以正确的描述 2、求得R(D)后仍需研究采取何种编码才能到达性能极限。 无记忆源R(D)的计算 无记忆源R(D)的计算 无记忆源R(D)的计算 二、 信息率失真函数的参量表达式方法求解 无记忆源R(D)的计算 用拉格朗日乘子法求解R(D)函数，并用S作为参量来表述率失真函数R(D)和失真函数D(S)。 无记忆源R(D)的计算 连续无记忆信源的信息率失真函数 信息率失真函数与信息价值 1、全部产品以合格品处理 可以算出此时的平均失真度D=200元/每件产品 因为每件产品出厂价为100元，则如果所有产品均当做合格品出厂则每件产品要损失100元。 信息率失真函数与信息价值 2、全部产品以废品处理 可以算出此时的平均失真度 D=P(合格)*P(合格|合格)*d(合格，合格)+ P(合格)*P(废品|合格)*d(合格，废品)+ P(废品)*P(合格|废品)*d(废品，合格)+ P(废品)*P(废品|废品)*d(废品，废品) =0.98*1*100=98元/每件产品 信息率失真函数与信息价值 2、全部产品以废品处理 可以算出此时的平均失真度D=98元/每件产品 因为把98%可能卖出后挣了100元的产品报废了，所以每生产一件产品，工厂有损失98元的风险 分析： 全部报废产生的损失小于全部出厂的损失，此时R(Dmax)=0 Dmax=98（因为，产品未进行质量管理，相当于信源没有输出任何信息） 信息率失真函数与信息价值 3、全部废品被检测出 可以算出此时的平均失真度 D=0 ，也就是说这种情况不会另外造成损失 信息率失真函数与信息价值 3、全部废品被检测出 根据信源分布，可以得到信源熵 H(X)=-0.98log0.98-0.02log0.02=0.142比特/产品 也就是说，为了确认所有产品信息，平均需要从每件产品上获取0.142比特。 另一方面，每件产品可能造成的最大损失为98元，所以每一个比特的最大信息价值为98/0.142=690.14元/比特。 信息率失真函数与信息价值 4、部分废品未被检测出 可以算出此时的平均失真度 D=P(合格)*P(合格|合格)*d(合格，合格)+ P(合格)*P(废品|合格)*d(合格，废品)+ P(废品)*P(合格|废品)*d(废品，合格)+ P(废品)*P(废品|废品)*d(废品，废品) =