信息率失真理论及其应用 .pptVIP

“信息论与编码”课件 信息率失真理论及其应用 * 第一页，共二十五页，2022年，8月28日 选择失真函数为 d(好，好)=0 d(废，废)=0 d(好，废)=100 d(废，好)=10 000 将产品检验分成4种情况：全部产品都当合格品，全部产品都当废品，完美的检验和允许出错的检验。 情况1　全部产品不经检验而出厂——都当合格品 把这一过程看作是一个“信道”，其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为 信息率失真函数与信息价值 * 第二页，共二十五页，2022年，8月28日 这种情况的平均损失，即平均失真度，为 　　　 =P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废话) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.02?1?10 000=200元/块 即这种情况每销售出去一块PCB板，加工厂将要另外承担可能损失200元的风险。考虑到每块销售100元，实际上是每卖出一块可能要实际净损失100元。 情况2　全部产品不经检验全部报废——都当废品 信道传输概率为P(好/好)=0 P(废/好)=1 P (好/废)=0 P (废/废)=1 信道矩阵为 信息率失真函数与信息价值 * 第三页，共二十五页，2022年，8月28日 平均失真度为 　　　 =P(好)?P(好/好) ?d(好,好)+ P(好)?P(废/好) ?d(好,废) +P(废)?P(好/废) ?d(废,好)+ P(废)?P(废/废) ?d(废, 废) =0.98?1?10 0=98元/块 即每生产一块PCB板，加工厂将有损失98元的风险。因为把98％本来可以卖100元一块的板子也报废了。 比较情况1、2可知，做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。因此，有 ； 产品未进行质量管理，相当于信源没有输出任何信息量。 信息率失真函数与信息价值 * 第四页，共二十五页，2022年，8月28日 情况3　正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 平均失真度为 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵，有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息量，就可以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量的最大价值为98元，则每一比特信息的最大价值为 信息率失真函数与信息价值 * 第五页，共二十五页，2022年，8月28日 情况4 检测时允许有一定的错误——非完美的检验 依题意检验的正确率约为95%，则信道的传输概率为 P(好/好)=0.95 P(废/好)=0.05 P(好/废)=0.05 P(废/废)=0.95 信道矩阵为 平均失真度 　　　 =P(好)?P(废/好) ?d(好, 废)+P(废)?P(好/废) ?d(废,好) =0.98?0.05?10 0+0.02?0.05?10 000 = 14.9元/块 即这种情况每销售出去一块PCB板，加工厂将要另外承担可能损失14.9元的风险。考虑到每块销售100元，实际上是每卖出一块实际收益至少是85.1元。 信息率失真函数与信息价值 * 第六页，共二十五页，2022年，8月28日 从可能带来的另外损失角度考虑，这种情况和最大损失（98元）相比，其减少量为98 – 14.9 = 83.1 (元) 减少的原因是由于从检验的过程中获取了信息量，如前所述，检验的过程好比“信道”，获取的信息量也就是平均互信息量I(X;Y)，可用I(X;Y)=H(X) – H(Y|X)求得。现在来求H(Y/X)，为此先求H(Y)。 设出厂产品为信宿Y，则有 PY(好)=P(好) P(好/好)+ P(废) P(好/废) 　　 =0.98?0.95+0.02?0.05=0.932 PY(废)=0.068 则信宿熵为 H(Y)=H[