信息论与编码理论基础 王育民(第二章 )解读.pptVIP

* * 互信息的凸性 p(j|k)给定，I(X;Y)是q(x)的上凸函数 q=(q1, q2, …, qK)给定，I(X;Y)是p(j|k)的下凸函数 * * 互信息的凸性 设条件概率{p(j|k)，k=1~K，j=1~J}被确定。此时I(X, Y)是概率向量q=(q1, q2, …, qK)的函数。我们希望找到这样的概率向量，使得对应的I(X, Y)达到最大。这就是说，记 我们希望找到这样的K维概率向量a=(a1, a2, …, aK)，使得 * * 互信息的凸性 （本节的核心内容是定理2.6.2，但它有太长的推导。） 简述定理2.6.2的含义 K维概率向量a=(a1, a2, …, aK)使得 当且仅当：以a为X的概率向量的时候，I(X=k; Y)对所有ak0的k都取一个相同的值C； I(X=k; Y)对所有满足ak=0的k都取值不超过上述的相同值C 。其中 * * §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 I(X=k; Y)表示什么？表示事件X=k与随机变量Y之间的“半平均互信息量”。 * * §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 例 设X的事件有0、1； Y的事件有0、1； 已知 p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。 当X服从等概分布（a0=P(X=0)=1/2；a1=P(