ch04信息率失真函数详解.pptVIP

* 4.2 离散信源的信息率失真函数 第二步：Φ对p(bj/ai)求偏导数，求驻点 注意 两边除以p(ai)得 * 4.2 离散信源的信息率失真函数 第三步：由*式得到如下方程： (4.2.10)两边乘p(ai)再对i求和得到 (4.2.9) (4.2.10) (4.2.10)两边对j求和得到 (4.2.11) (4.2.12) * 4.2 离散信源的信息率失真函数 第四步：将λ表达式带入(4.2.12)得 已知p(ai) ，故可由上式求出p(bj)的S参量表达式； 将各λ值和p(bj)代人(4.2.10)求出各p(bj/ai)； 将各p(bj/ai)代入(4.2.4) 和(4.2.5)得到S参量的率失真函数和平均失真度 (4.2.15) (4.2.14) (4.2.13) * 4.2 离散信源的信息率失真函数 S是R(D)函数的斜率 S的性质 由于R(D)函数的严格递减和下凸性得到，S必然为负值，且S是D的递增函数。 D * 4.2 离散信源的信息率失真函数 4.2.2 二元及等概率离散信源的信息率失真函数 已知 第一步：求Dmin与Dmax * 4.2 离散信源的信息率失真函数 第二步，由(4.2.12)得方程组 * 4.2 离散信源的信息率失真函数 第三步，将各λ值代人(4.2.11)求p(bj) 第四步，将各λ值和p(bj)代人(4.2.10)求出各p(bj/ai) * 4.2 离散信源的信息率失真函数 第五步，求D(S)和R(S) * 4.2 离散信源的信息率失真函数 讨论： R(D)曲线和S(D)曲线(? =1) ，即d(xi, yj)为误码个数,其D就为误码率 R(D)~D曲线还与p有关 p=1/2时，若D=0.5，则R=0 p=1/4时，若D=0.25，则R=0 S(D)曲线只有一条，但定义域不同 p=1/2时，S(D)定义域：D=0~0.5， 连续， Smax=0 p=1/4时，S(D)定义域：D = 0~0.25，在0.25处断开 0 0.25 0.5 D R(D) P=1/2 S(D) p=1/4 A * 4.2 离散信源的信息率失真函数 4) 等概时，对相同的D，等概时R(D)最大 0 0.25 0.5 D R(D) P=1/2 S(D) p=1/4 A n元等概率信源，且失真函数为对称矩阵时 1 0.811 二元等概率信源 * 4.3 连续信源的信息率失真函数 一、基本概念 1) p(y/x)——信道转移概率密度 2) p(D)——满足失真度准则的所有试验信道的集合 3) Inf(Infimum)——下确界，是一个数 ，它小于某连续集合中的所有的数(不能等于)且是所有小于该连续集合中的数中最大的一个。 4) 连续信源的R(D)——满足失真度准则的所有试验信道的互信息的下确界 4.3.1 连续信源R(D)的参量表达式 * 4.3 连续信源的信息率失真函数 二、参量表达式 一般情况，直接求解非常困难！！ * 4.3 连续信源的信息率失真函数 一、一维高斯信源 二、失真函数定义——均方误差 平均失真度函数 d(x,y)=(x-y)2 4.3.2 高斯信源的信息率失真函数 * 4.3 连续信源的信息率失真函数 三、高斯信源在均方误差失真度准则时的R(D) 1. 由I(X ; Y)=H ( X )－H( X|Y ) 计算R(D)的下限 已知高斯信源熵为 在满足保真度准则条件下的条件熵为 于是 I(X;Y) R(D)是试验信道中I(X;Y)的最小值，故 * 4.3 连续信源的信息率失真函数 2. 由反向高斯加性信道求R(D)的上限 而由R(D)是试验信道中I(X;Y)的最小值得， * 4.3 连续信源的信息率失真函数 3. 由1.与2.的结论得 由于信息率失真函数R(D)的单调递减性和非负性知， 所以 * 4.3 连续信源的信息率失真函数 4. 结论 0 1 D/?2 R(D) 高斯 非高斯 1). D=0时， R(D) →∞，连续信源欲无失真, R需无穷大 2). D↑→R↓，即允许失真越大，所需R越小——压缩 3). D = ?2 时，R(D) =0，即当允许失真等于输入信号方差时，无需传送 * 4.3 连续信源的信息率失真函数 4.3.3 信息率失真函数与信息价值 香农信息论的信息量——客观 信息量的重要性因人而异——主观 把平均失真理解为平均损失，便可衡量价值 * 4.3 连续信源的信息率失真函数 例4.3——某厂 生产：合格品—x1，p(x1)=0.99