第2章 离信息的度量.pptVIP

另一个有用的不等式： 对于任意正实数x，下面不等式成立 实际上， 设 ，可求得函数 的稳定点为x=1，并可求得在该点的2阶导数小于0， 从而可得x=1为f(x)取极大值的点，即 , 仅当x=1时等式成立。令y=1/x，可得 , 再将y换成x，就得到左边的不等式。 信息散度 若P和Q为定义在同一概率空间的两个概率测度，定义P相对于Q的散度为： 在其他文献中，散度又称做相对熵、鉴别信息、方向散度、交叉熵、Kullback_ Leibler数等。注意，在上式中，概率分布的维数不限，可以是一维，也可以是多维。 定理2.3.1 如果在一个共同的有限字母表的概率空间上给定的两个概率测度P(x)和Q(x),那么 当且仅当对所有x, P(x) = Q(x) 时,等式成立。 证 因为 ， ，log(x)为严格上 凸函数，所以根据Jensen不等式有 当且仅当对所有x, P(x) = Q(x) 时,等式成立。该式称为散度不等式（divergence inequality ）。 一个概率测度相对于另一个概率测度的散度是非负的，仅当两测度相等时，散度为零。 熵函数的数学特性 1．对称性 概率矢量p=(p1,p2,…,pn)中，各分量的次序任意改变，熵不变。即，熵仅与信源的总体特性有关，而与随机变量的取值无关。 2. 非负性 H(p)=H(p1,p2,…,pn) ≥0 仅当对某个pi=1，等式成立。 因为自信息是非负的，熵为自信息的平均，所以也是非负的。不过，非负性仅对离散信源的熵有效。 3. 扩展性 利用 可得到式(2.4.10)的结果。该式的含义就是，小概率事件对熵的影响很小，可以忽略。虽然小概率事件自信息大，但在计算熵时所占比重很小。 4. 可加性 设两个随机变量集合X、Y与的它们的联合集XY的熵分别为H(X) ,H(Y) , H(XY)，则 H(XY)= H(X) + H(Y|X ) 证 由定义可得 熵的可加性可以推广到多随机变量集合的情况。设N维随机变量集X1X2…XN，则有 H(X1X2…XN)= H(X1)+ H(X2|X1)+ … + H(XN | X1…XN-1) 熵的可加性含义：复合事件集合的不确定性为各个分事件集合的不确定性的和。 5. 极值性 定理2. 3. 2 (离散最大熵定理) 对于离散随机变量集合，当集合中的事件等概率发生时，熵达到最大值。 证 设随机变量集合有n个符号，概率分布为P(x) ；Q(x)为等概率分布，即Q(x)=1/n。根据散度不等式有 即 ，仅当P(x) 等概率分布时等号成立。 6. 确定性 H(1,0) = H(1,0,0)= … = H(1,0,…0) = 0。 当随机变量集合中任一事件概率为1时，熵就为0。 7. 上凸性 H(p)=H(p1,p2,…,pn) 是 (p1,p2,…,pn) 的 严格上凸函数。 2. 3. 3 条件熵 联合集XY上，条件自信息 I(y|x) 的平均值定义为条件熵：