信息论与编码理论_14.pdf

信息论与编码理论 杨文 通信工程系 第四章 信息率 第四章 信息率失真函数 失真函数 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值 4.5 信道容量与信息率失真函数的比较 4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结 2006/11/13 3 第四章 信息率 4.4 信息率失真函数与信息价值 失真函数 信息率失真理论不仅被应用于信息传输来解决信源的压 信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 缩编码问题，也被应用于质量检测和科学管理中。 例 某印刷电路板（PCB）加工厂的产品合格率约为 例 某印刷电路板（PCB）加工厂的产品合格率约为 98% 。一块好的PCB板出厂价约为100元，但如果客户 98% 。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02 P(好)=0.98 P(废)=0.02 2006/11/13 4 第四章 信息率 4.4 信息率失真函数与信息价值 失真函数 选择失真函数为 选择失真函数为 d(好，好)=0 d(废，废)=0 d(好，好)=0 d(废，废)=0 d(好，废)=100 d(废，好)=10 000 d(好，废)=100 d(废，好)=10 000 将产品检验分成4种情况：全部产品都当合格品，全部产品都当 将产品检验分成4种情况：全部产品都当合格品，全部产品都当 废品，完美的检验和允许出错的检验。 废品，完美的检验和允许出错的检验。 情况1 全部产品不经检验而出厂——都当合格品。 全部产品不经检验而出厂——都当合格品。 把这一过程看作是一个“信道”，其“传递概率”为 把这一过程看作是一个“信道”，其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0