信息熵讲义教程.pptVIP

5、可加性与强可加性： （涉及到了两个变量！） H（XY）为两个随机变量的联合熵。 可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵。 对于 X 与 Y 独立的情况有： （强可加性） 6、递增性 （子集再划分，第 n 个分为 m 个） 按照定义证明： 例题：计算 7、极值性： 可利用两个引理证明；（以后再利用Jensen证明。） 引理 1 ：对于 x 0 引理 2 ： 其中： 引理2 证明 ： 两边求和即得结论: 是 P 的上凸函数。 即对于 ，有： 8、上凸性： 几何解释： f(EP)总在 Ef(P) 上边 和两个概率矢量 函数f 的图象 凸集：令 是定义在矢量空间中的区域 R 上 的实值分量的 K 维矢量。若对于 有： 则称 R 为凸集或凸区域。 概率矢量： 引理：概率空间中任意区域都是凸集。 证明： 则对于可构造矢量 若 例如： 凸函数：定义在凸集R上的一个实函数f，若它对所有的 满足： 则称函数 f 为 R 上的上凸函数， 若不等式符号相反，则为下凸函数。 上凸：Convex cap