信息论基础第2版.ppt

条件熵解：其中，。如果式(2.16)所表示的条件概率矩阵的各行所包含的元素都相同，则与i无关，此时*条件熵条件熵也可扩展到多维矢量的情况。设N维随机矢量和M维随机矢量，其中，，联合集上，条件熵定义为（2.17）当M=N=1时，式(2.17)归结于(2.15)。*§2.2.3相对熵若P和Q为定义在同一概率空间的两个概率测度，定义P相对于Q的相对熵为：（2.18）相对熵又称散度、鉴别信息、方向散度、交叉熵、Kullback_Leibler距离等。在(2.18)中，概率分布的维数不限，可以是一维，也可以是多维，也可以是条件概率。*§2.2.3相对熵首先介绍一个在信息论中有用的不等式。对于任意正实数x，下面不等式成立证明：①设，可求得函数的稳定点为x=1，并可求得在该点的二阶导数小于0，从而可得x=1为f(x)取极大值的点，即，仅当x=1时式(2.19)右边等号成立。②令y=1/x，可得，再将y换成x，就得到左边的不等式。（2.19）*§2.2.3相对熵如果在一个共同有限字母表概率空间上给定两个概率测度P(x)和Q(x)，那么仅当对所有x,P(x)=Q(x)时,等式成立。(2.20)定理2.1*§2.2.3相对熵证：因，，所以根据式(2.19)，有仅当对所有x，P(x)=Q(x)时，等式成立。*§2.2.3相对熵式(2.20)称为散度不等式（divergenceinequality）。●该式说明，一个概率测度相对于另一个概率测度的散度是非负的，仅当两测度相同时，散度为零。●散度可以解释为两个概率测度之间的“距离”，即两概率测度不同程度的度量。●散度并不是通常意义下的距离，因为它不满足对称性，也不满足三角不等式。*§2.2.3相对熵例2.11设一个二元信源的符号集为{0，1}，有两个概率分布p和q，并且，，，，求散度和，并分别求当和时散度的值。*§2.2.3相对熵解:根据(2.18)式，得当r=s时，有，当时，有注：一般地，和并不相等，即不满足对称性。*§2.2.4各类熵之间的关系由式(2.18)可得到熵与相对熵的关系，即由得（2.21）上式表明，同一概率空间的两随机变量集合，如果一种分布的自信息用另一种分布做平均，其值不小于另一种分布的熵。*§2.2.4各类熵之间的关系(熵的不增原理)(2.22)证：设，那么定理2.2*§2.2.4各类熵之间的关系●上面利用了散度不等式，仅当X、Y相互独立时，等式成立。●(2.22)表明，条件熵总是不大于无条件熵，这就是熵的不增原理：在信息处理过程中，已知条件越多，结果的不确定性越小，也就是熵越小。*§2.3.1凸函数及其性质1．凸函数的定义多元实值函数称为定义域上的上