信息论与编码（汤学明）4 信息率失真函数.pptVIP

* 4.2.2　二元及等概率离散信源的信息率失真函数 * * 二元离散信源率失真函数曲线 * 多元等概率离散信源的率失真函数 * 4.3 连续信源的信息率失真函数 4.3.1　连续信源信息率失真函数的参量表达式 4.3.2　高斯信源的信息率失真函数 4.3.3　信息率失真函数与信息价值 4.3.4　信道容量与信息率失真函数的比较 * 4.3.1　连续信源信息率失真函数的参量表达式 * 4.3.1　连续信源信息率失真函数的参量表达式（续） * 4.3.2　高斯信源的信息率失真函数 * * 反向信道 * * * 4.3.3　信息率失真函数与信息价值 同样的信息对不同的接收者其(客观)信息量是相同的，但对不同的接收者其价值是有差别的 尽管信息率失真理论只研究客观信息量，不涉及信息对接收者有着不同的价值，但如果把平均失真理解为平均损失，据此定义信息价值，就可以用信息论解决许多实际问题 例 某印刷电路板(PCB)加工厂的产品合格率约为 98%。一块好的 PCB 板出厂价约为 100 元，但如果客户发现一块不合格的板子可向厂方索赔 10000 元。已知厂方检验员检验的正确率约为 95%，假设合格品出厂、废品报废都不造成损失，以下用信息率失真理论来分析检验的作用并作比较。 解 根据题意，可将 PCB 产品作为一信源，记生产的 PCB 板为随机变量 X，检验员的检测结果为 Y，即： * 将平均失真度理解 PCB 厂的平均损失，并定义如下失真函数： 产品不经检验而出厂——都当合格品 　　即这种情况每销售出去一块 PCB 板，加工厂将要另外承担可能损失 200 元的风险。考虑到每块销售 100 元，实际上是每卖出一块可能要实际净损失 100 元。 * 产品不经检验全部报废——都当废品 　　即每生产一块 PCB 板，加工厂将有损失 98 元的风险。因为把 98% 本来可以卖 100 元一块的板子也报废了。 　　比较以上两种情况可知，做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。 　　如果选择 ，则 ，产品无需进行质量管理，相当于信源没有输出任何信息量 * 正确无误地判断合格品和废品——完美的检验 以下探讨每 1 比特信息量的价值 　　该式说明，如果从每块 PCB 板上获取 0.14144 比特的信息量，就可以避免一切细小的损失。 　　可能造成的最大损失为 98 元 / 块，所以 0.14144 比特信息量的最大价值为 98 元，则每 1 比特信息的最大价值为 　　一般将全部产品都报废的可能性极小，实际的损失要小于 98元/块，完全无误的检验因其高昂的代价，所提供的单位信息价值不一定是最高的 * 检测时允许有一定的错误——非完美的检验 　　即这种情况每销售出去一块 PCB 板，加工厂将要另外承担可能损失 14.9 元 / 块的风险。考虑到每块销售 100 元，实际上是每卖出一块实际收益至少是 85.1 元。这种情况和最大损失(98 元)相比，损失减少了 98 - 14.9 = 83.1 元 / 块 Why? 　　由于在检验的过程中获取了一定的信息量，检验的过程好比“信道”，获取的信息量也就是平均互信息 I ( X; Y ) 。 * 　　通过允许有错的检验，平均而言从对每块 PCB 板的检验中只获取了 0.07202 比特的信息量，但是其损失比不检验时减少了83.1元，也就是说 0.07202 比特信息价值 83.1 元，故每 1 比特价值为： 　　而完全无误检验时，每比特信息量的价值为 692.87 元。比较而言，在有较小检验误差的情况下，每比特信息量的价值更高，是较合算的检验准则。 * 信息率 R 的价值 付出一定的代价，获取一定的信息，得到相应的价值 信息率失真函数 R ( D ) 是平均失真度 D 的单调递减函数，其反函数为 D ( R ) ，表示信息率为 R 时的平均失真度(平均损失) 最大的平均损失为 Dmax，此时的率失真函数 R ( Dmax ) = 0 表明没有获取信源的任何信息 当获取一信息率 R ( D ) 后，平均损失将由 Dmax 下降为 D ( R )，即获取 D ( R ) 比特的平均互信息可以减少损失 Dmax - D ( R )，据此可以定义： * 4.3.4　信道容量与信息率失真函数的比较 * 4.4　保真度准则下的信源编码定理(香农第三定理) * 香农三大定理 香农信息论有三大基本概念：信源熵、信道容量、信息率失真函数，它们是信息传输与存储的理论上的极限；这三大基本概念分别对应于香农的三大定理： 无失真信源编