信息论与编码理论基础王育民(第二章)总结报告.pptVIP

* * 互信息的凸性 p(j|k)给定，I(X;Y)是q(x)的上凸函数 q=(q1, q2, …, qK)给定，I(X;Y)是p(j|k)的下凸函数 * * 互信息的凸性 设条件概率{p(j|k)，k=1~K，j=1~J}被确定。此时I(X, Y)是概率向量q=(q1, q2, …, qK)的函数。我们希望找到这样的概率向量，使得对应的I(X, Y)达到最大。这就是说，记 我们希望找到这样的K维概率向量a=(a1, a2, …, aK)，使得 * * 互信息的凸性 （本节的核心内容是定理2.6.2，但它有太长的推导。） 简述定理2.6.2的含义 K维概率向量a=(a1, a2, …, aK)使得 当且仅当：以a为X的概率向量的时候，I(X=k; Y)对所有ak0的k都取一个相同的值C； I(X=k; Y)对所有满足ak=0的k都取值不超过上述的相同值C 。其中 * * §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 I(X=k; Y)表示什么？表示事件X=k与随机变量Y之间的“半平均互信息量”。 * * §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 例 设X的事件有0、1； Y的事件有0、1； 已知 p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。 当X服从等概分布（a0=P(X=0)=1/2；a1=P(X=1)=1/2）时，I(X;Y)达到最大。因为此时 * * §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 * * * * * * * §2.4 离散型随机变量的平均互信息量 * * §2.4 离散型随机变量的平均互信息量 * * §2.4 离散型随机变量的平均互信息量 定义2.4.1(平均互信息量) 给定一个二维离散型随机变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}（因此就给定了两个离散型随机变量{X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。X与Y的平均互信息量定义为如下的I(X; Y)： * * 注意：①事件对(xk, yj)的“非平均互信息量”值为I(xk; yj)。②此外，可以定义“半平均互信息量”I(xk; Y)和I(X; yj)。 I(xk; Y)表示事件“X=xk”与随机变量Y之间的半平均互信息量； I(X; yj)表示事件“Y=yj”与随机变量X之间的半平均互信息量。 * * §2.4 离散型随机变量的平均互信息量 平均互信息量的性质 1、I(X; Y)≥0。（虽然每个“非平均互信息量” I(xk; yj)未必非负，但平均互信息量I(X; Y)非负） 证明 * * §2.4 离散型随机变量的平均互信息量 {rkj, k=1~K; j=1~J}是一个概率向量： {qkwj, k=1~K; j=1~J}是另一个概率向量： 故由引理2知， * * §2.4 离散型随机变量的平均互信息量 2、对称性：I(X; Y)=I(Y; X)。 3、平均互信息量的熵表示： I(X; Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)。 证明 * * §2.4 离散型随机变量的平均互信息量 * * §2.4 离散型随机变量的平均互信息量 3’、若X与Y相互独立，则 I(X; Y)=0， H(X|Y)=H(X)， H(Y|X)=H(Y)， H(XY)=H(X)+H(Y)。 证明 若X与Y相互独立，则rkj=qkwj, k=1~K; j=1~J。 因此此时loga(rkj/(qkwj))=0， k=1~K; j=1~J。 因此I(X; Y)=0。再由性质3，性质3’得证。 * * §2.4 离散型随机变量的平均互信息量 4、I(X; Y)≤H(X)，I(X; Y)≤H(Y)。 （性质4有多种简单的证明方法。 第一种证明方法：由I(X; Y)的定义， loga(rkj/(qkwj))≤loga(1/qk)。 第二种证明方法： 由性质3，I(X; Y)=H(X)-H(X|Y)≤H(X)。） 4’、 若X是Y的确定的函数X=g(Y)，则 I(X; Y)=H(X)≤H(Y)。 若Y是X的确定的函数Y=g(X)，则 I(X; Y)=H(Y)≤H(X)。 （证略） * * §2.4 离散型随机变量的平均互信息量 一般印象 （平均互信息量I(X; Y)的各种性质与我们对“平均互信息量”这个名词的直观理解非常吻合）。 一般情形：总有0≤I(X; Y)≤min{H(X), H(Y)}。 一种极端情形：若X与Y相互独立，则I(X; Y)=0。 另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则I(X; Y)=min