应用信息论-第讲-率失真函数.pptVIP

4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值 4.5 信道容量与信息率失真函数的比较 4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结 平均失真度 离散随机变量X： N维离散随机序列： 信息率失真函数 离散信息X：概率分布为P(X)，失真度为d(xi,yj) 信息率失真函数的性质 定义域(Dmin,Dmax)： Dmin是最小允许失真度， Dmax是最大允许失真度 下凸性 单调递减和连续性 4.2 离散信源的信息率失真函数 对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同； C是求平均互信息的条件极大值， R(D)是求平均互信息的条件极小值。 4.2.1 离散信源信息率失真函数的参量表达式 4.2.2 二元及等概率离散信源的信息率失真函数 4.2.1 离散信源率失真函数的参量表达式 (1) 求极小值方法 用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。 已知信源概率分布函数p(xi)和失真度d(xi , yj)，在满足保真度准则 的条件下，在试验信道集合PD当中选择p(yj /xi)，使平均互信息 4.2.1 离散信源率失真函数的参量表达式 (2) 离散信源的信息率失真函数 已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和μi(i=1,2,…,n)，构造一个新函数 4.2.1 离散信源率失真函数的参量表达式 4.2.1 离散信源率失真函数的参量表达式 4.2.1 离散信源率失真函数的参量表达式 4.2.1 离散信源率失真函数的参量表达式 第一步：求λi 4.2.1 离散信源率失真函数的参量表达式 第二步：求p(yj) 第三步：求p(yj/xi) 将解出的λi和求p(yj)代入式(4.2.10)，可求得mn个以S为参量的p(yj/xi)。 4.2.1 离散信源率失真函数的参量表达式 第四步：求D(S) 将这mn个p(yj /xi)代入(4.2.5)得到以S为参量的允许平均失真函数D(S)。 4.2.1 离散信源率失真函数的参量表达式 第五步：求R(S) 将这mn个p(yj /xi)代入(4.2.4)得到以S为参量的率失真函数R(S)。 4.2.1 离散信源率失真函数的参量表达式 第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如图4.2.1。 4.2.1 离散信源率失真函数的参量表达式 (3) 参量S的说明 可以证明S就是R(D)函数的斜率 。 斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加； 当D=0时(R(D)的斜率)：S的最小值趋于负无穷。 4.2.1 离散信源率失真函数的参量表达式 当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大是0。 当DDmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0, Dmax]内，除某些特例外，S将是D的连续函数。 (1) 二元离散信源的率失真函数 设二元信源 计算率失真函数R(D) 先求出Dmax 第一步：求λi，由式(4.2.12)有 第二步：求p(yj)，由式(4.2.11)有 第三步：求p(yj/xi)，由式(4.2.10)有 第四步：求D(S)，将上述结果代入式(4.2.14)有 第五步：求R(S)，将上述结果代入式(4.2.15)有 对于这种简单信源，可从D(S)解出S与D的显式表达式。 第六步：通过以上步骤计算出来的R(D)和S(D)如图4.2.2 。 (2) 信息率失真函数曲线图说明 若α=1，把d(xi , yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi , yj)的数学期望就是平均误码率。能容忍的失真等效于能容忍的误码率。 R(D)不仅与D有关，还与p有关。概率分布不同， R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax) =0的含义。 当D相同时，信源越趋于等概率分布， R(D)就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。 关于S(D) 它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可