信息论第四章信息率失真函数要点.ppt

香农信息论的信息量——客观 信息量的重要性因人而异——主观 把平均失真理解为平均损失，便可衡量价值 一、例——某厂 生产：合格品—a1，p(a1)=0.99 废 品—a2，p(a2)=0.01 检验：合格品—b1，合格品报废—损失1元 废 品—b2，废品出厂—损失100元 建模型 检验不正确引起的损失——信道传输失真 1. 产品未经检验全部出厂 p(b1/a1) = p(b1/a2) = 1 p(b2/a1) = p(b2/a2) = 0 [结论]产品未经检验全部出厂引起损失1元 2. 产品未经检验全部报废 p(b1/a1) = p(b1/a2) = 0 p(b2/a1) = p(b2/a2) = 1 [结论] ①产品未经检验全部报废引起损失0.99元 ②出厂一个废品比报废99个合格品的损失大 ③根据Dmax定义， Dmax = 0.99 ④若允许损失为0.99元，则无需检验，把产品报废即可 3. 检验完全正确 p(b1/a1) = p(b2/a2) = 1 p(b2/a1) = p(b1/a2) = 0 [结论] ①为达无错检验，需要0.081bit信息量 ② 0.081bit信息量避免了0.99元的损失 每bit价值 = 0.99/0.081=12.2元/bit 4. 检验有一定误差(设错判概率为0.1) p(b1/a1) = p(b2/a2) = 0.9 p(b2/a1) = p(b1/a2) = 0.1 [结论1] 比最大损失(0.99元)减少了0.791元， 原因是检验获得了信息量I(X;Y) [结论1] 每bit价值=0.791/0.025=31.6元/bit [结论2] 有差检验的信息价值比无差检验的高！ 可画出信息(R) ～损失(D)曲线 反之， D(R) ——信息率为R时的平均损失 二、信息价值 1. 价值——V = Dmax– D(R) ——曲线上某点与Dmax间纵轴距，表损失减少量 2. 价值率 —每bit信息提供的损失减少量 [性质] S——R(D)曲线斜率 表明， R↑→V ↑ 概念：提供的信息量越大,价值越大,损失越小 [上例] 1. 不检验，全部报废 —D = Dmax=0.99 元情况 2. 无错检验 —D = 0，R=H(X)=0.081bit情况 此时, V = Dmax– 0 = 0.99 元 v = V/R = 12.2 元/bit 3. 有错检验 —D = 0.199元，R=0.025bit情况 此时, V = Dmax– D = 0.791 元 v = V/R = 31.6 元/bit 率失真函数与信道容量的比较 4.2.2 率失真函数的值域、定义域 （1）D的最小值Dmin 在给定的失真测度矩阵中，对每一个xi，找 一个最小的统计平均值，就是D的最小值，即 i j y j ∑q( xi ) min d i Dmin Δ D 1.R(D)的值域（参见图4-1） 率失真函数的值域为 0 ≤ R（D）≤ H（X） 2. R(D)的定义域 Dmax R（D）的值域 0 Dmin 图4－1 H（X） R(D) 复习 失真函数（2）D的最大值Dmax Dmax = min∑q(xi ij i =1 D j = ∑p( xi )d ( xi j ) 第四章 信息率 j =1,2, …, m n j )d 当R (D) 达到其最小值Rmin（D）= 0时，对应的失真 最大，这种情况下D对应着R (D) 函数定义域的上界值 Dmax，如图4-1所示。 求出计算Dmax的显式: 纵上所述，R(D)的定义域为： D min ≤ D ≤ D max，式中D min和D max可分别 由上两式求出。 复习 , Dm ) , y n i =1 Dmax = min(D1 , D2 , 4.2.3 率失真函数的性质 第四章 信息率 失真函数 率失真函数有如下几条性质:： 1.R(D)是D的∪型凸函数 分别给定两个失真度D1和D2（Dmin ≤ D1, D2 ≤ Dmax），则下 式成立： R (α1D1+α2D2) ≤α1R (D1)+α2 R (D2) 2. R(D)是D的连续、单调、减函数 3.对于离散无记忆信源（DMS） R (N ) (D) = N R (D) 复习 第四章 信息率 失真函数 求信息率