第二章信源及信息熵23-25.ppt

* * 3、非平均的互信息量： 给定二维连续型随机变量{(X, Y), f(X,Y)(x, y)}（因此就给定了两个连续型随机变量{X, fX(x)}和{Y, fY(y)}）。事件x∈X与事件y∈Y的互信息量定义为 平均的互信息量： 给定二维连续型随机变量{(X, Y), f(X,Y)(x, y)}（因此就给定了两个连续型随机变量{X, fX(x)}和{Y, fY(y)}）。 X与Y的平均互信息量定义为 * * 平均互信息量的性质 1、I(X; Y)≥0。 2、对称性：I(X; Y)=I(Y; X)。 3、信息处理定理：对于如下的系统串联有 I(X; Y)≤I(X; Z)。 * 4、由相对熵的定义,有联合熵和条件熵:P36 5、熵、条件熵、联合熵、互信息量之间的关系P36 * * 2.4.3 连续信源的最大熵定理P37 例1 设X~U(a, b)，求X的相对熵（我们将发现， X的相对熵未必非负）。 * （已知：当离散型随机变量X的事件有K个时，H(X)≤logaK；只有当X服从等概分布时才有H(X)=logaK）若连续型随机变量X的取值范围在区间(-M, M)之内，则Hc(X)≤loga 2M；只有当X服从U (-M, M)分布时才有Hc(X)=loga 2M。 1、限