第四章 信息率失真函数 信息论与编码 课件.pptVIP

说明: 最常用的失真函数 均方失真函数： d(ai,bj)=(ai-bj)2 绝对失真函数： d(ai,bj)=|ai-bj| 相对失真函数： d(ai,bj)=|ai-bj|/|ai| 误码失真函数： d(ai,bj)= 离散无记忆信道的N次扩展信道 输入序列XN=X1X2…XN N位,每位n种,共有nN种序列 输出序列 YN=Y1Y2…YN N位,每位m种,共有mN种序列 (1)输入序列 和输出序列 之间的失真函数 (2)N次离散无记忆扩展信源和扩展信道的平均失真度——是单符号时的N倍 三、率失真函数与信道容量的比较 [例]离散二元信源 ，求Dmax 结论: 1. R(D)是非负函数； 定义域0～Dmax , 值域0～H(X) 2. R(D)是单调不增、下凸的连续函数 3.意义:对规定的失真D*，可算得R(D*)，于是 (1) R(D*)是理论极限—— 为满足D≤D*，实际R≥R(D*) (2) 压缩比极限——K=H(X)/R(D*) [具体方法] (1) 选择使p(yj)非零、非负的S值，由(4.2.12)得?i (2) 再由(4.2.14)、 (4.2.15)解得D(S)、R(S) (3) 可得R～D曲线上一点，并得R～D曲线 (4) S(D)=dR(D)/dD ——R～D曲线斜率 [S(D) ～D曲线性质] ①由于R(D)的严格递减和下凸性，斜率为负——S(D)＜0 ②单调递增—— dS(D)/dD＞0 ③Smin→-∞ ，D=0处R(D)的斜率 ④当D→Dmax时， Smax多为某一负值，最大值为0。然后在Dmax点处，S曲线突跳到零。 (1) 求Dmax (4) R(D)曲线和S(D)曲线(? =1) 1) ? =1，即d(xi, yj)为误码个数， 其数学期望为误码率 D——允许的误码率，于是 2) R(D)~D曲线还与p有关 p=1/2时，若D=0.5，则R=0 p=1/4时，若D=0.25，则R=0 香农信息论的信息量——客观 信息量的重要性因人而异——主观 把平均失真理解为平均损失，便可衡量价值 一、例——某工厂 生产：合格品—x1，p(x1)=0.99 废 品—x2，p(x2)=0.01 检验：合格品—y1，合格品报废—损失1元 废 品—y2，废品出厂—损失100元 建模型 检验不正确引起的损失——信道传输失真 1.产品未经检验全部出厂 p(y1/x1) = p(y1/x2) = 1 p(y2/x1) = p(y2/x2) = 0 [结论]产品未经检验全部出厂引起损失1元 2.产品未经检验全部报废 p(y1/x1) = p(y1/x2) = 0 p(y2/x1) = p(y2/x2) = 1 [结论] ①产品未经检验全部报废引起损失0.99元 ②出厂一个废品比报废99个合格品的损失大 ③根据Dmax定义， Dmax = 0.99 ④若允许损失为0.99元，则无需检验，把产品报废即可 3. 检验完全正确 p(y1/x1) = p(y2/x2) = 1 p(y2/x1) = p(y1/x2) = 0 [结论] ①为达无错检验，需要0.081bit信息量 ② 0.081bit信息量避免了0.99元的损失 每bit价值 = 0.99/0.081=12.2元/bit 4. 检验有一定误差(设错判概率为0.1) p(y1/x1) = p(y2/x2) = 0.9 p(y2/x1) = p(y1/x2) = 0.1 [结论1] 比最大损失(0.99元)减少了0.791元， 原因是检验获得了信息量I(X;Y) [结论1] 每bit价值=0.791/0.025=31.6元/bit [结论2] 有误差检验的信息价值比无误差检验的高！ 可画出信息(R) ～损失(D)曲线 反之， D(R) ——信息率为R时的平均损失 信息价值 1. 价值——V = Dmax– D(R) —曲线上某点与Dmax间纵轴距，表明损失减少量 2. 价值率 —每bit信息提供的损失减少量 [性质] S——R(D)曲线斜率 表明， R↑→V ↑ 概念：提供的信息量越大,价值越大,损失越