第三讲电磁场与电磁波课件.pptVIP

§2.2 离散集的平均自信息量（熵） 定义2.2.1(平均自信息量——熵) 离散型随机变量{X, xk, qk, k=1~K}的平均自信息量（又称为熵）定义为： 其中底数a是大于1的常数。 注意： （1）事件xk的自信息量值为h(xk)=loga(1/qk)，因此H(X)是随机变量X的各事件自信息量值的“数学期望”。 （2）定义H(X)时，允许某个qk=0（即集X中可能含有不可能事件），此时补充定义qkloga(1/qk)=0。这个定义是合理的，因为 例2.2.1 离散型随机变量X有两个事件x1和x2， P(X=x1)=p，P(X=x2)=1-p。 则X的平均自信息量（熵）为 H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。 观察H(X)（它是p的函数，图2.2.1给出了函数图象，该图象具有某种对称性），有 当p=0或p=1时，H(X)=0。（随机变量X退化为常数时，熵为0） 当0p1时，H(X)0。p越靠近1/2， H(X)越大。 （X是真正的随机变量时，总有正的熵。随机性越大，熵越大） 当p=1/2时，H(X)达到最大。（随机变量X的随机性最大时，熵最大。特别如果底数a=2，则H(X)=1比特） 定义2.2.2(条件熵) 给定一个二维离散型随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J}， X相对于