信息论与编码讲义第三讲.pptVIP

第二章：信息量和熵 §2.1 离散型随机变量的非平均信息量（事件的信息量） §2.2 离散型随机变量的平均自信息量（熵） §2.4 离散型随机变量的平均互信息量 §2.5 连续型随机变量的平均互信息量和相对熵 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 §2.2 离散型随机变量的平均自信息量（熵） 定义2.2.1(平均自信息量——熵) 离散型随机变量{X, xk, qk, k=1~K}的平均自信息量（又称为熵）定义为如下的H(X)，其中底数a是大于1的常数。 §2.2 离散型随机变量的平均自信息量（熵） 注意： （1）事件xk的自信息量值为h(xk)=loga(1/qk)，因此H(X)是随机变量X的各事件自信息量值的“数学期望”。 （2）定义H(X)时，允许某个qk=0。（此时将qkloga(1/qk) 通盘考虑）此时补充定义qkloga(1/qk)=0。这个定义是合理的，因为 §2.2 离散型随机变量的平均自信息量（熵） 例2.2.1 离散型随机变量X有两个事件x1和x2， P(X=x1)=p，P(X=x2)=1-p。 则X的平均自信息量（熵）为 H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。 观察H(X)（它是p的函数，图2.2.1给出了函数图象，该图象具有某种对称性），有 当p=0或p=1时，H(X)=0。（随机变量X退化为常数时，熵为0） 当0p1时，H(X)0。p越靠近1/2， H(X)越大。 （X是真正的随机变量时，总有正的熵。随机性越大，熵越大） 当p=1/2时，H(X)达到最大。（随机变量X的随机性最大时，熵最大。特别如果底数a=2，则H(X)=1比特） §2.2 离散型随机变量的平均自信息量（熵） 定义2.2.2(条件熵) 给定一个二维离散型随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。 称如下定义的H(X|Y)为X相对于Y的条件熵。 §2.2 离散型随机变量的平均自信息量（熵） 定义2.2.3(联合熵) 二维离散型随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J} 的联合熵定义为 §2.2 离散型随机变量的平均自信息量（熵） 熵、条件熵、联合熵之间的关系： （1）H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。（由定义容易证明） （2）当X与Y相互独立时，H(Y|X)=H(Y)，因此此时H(XY)=H(X)+H(Y)。 证明 此时 §2.2 离散型随机变量的平均自信息量（熵） 熵的性质 对于随机变量{X, xk, qk, k=1~K}的熵H(X)=∑kqkloga(1/qk)，有以下的性质。 1、 H(X)与事件{xk, k=1~K}的具体形式无关，仅仅依赖于概率向量{qk, k=1~K}。 而且H(X)与概率向量{qk, k=1~K}的分量排列顺序无关。 2、H(X)≥0。完全同理， H(X|Y)≥0；H(Y|X)≥0；H(XY)≥0。 3、确定性：当概率向量{qk, k=1~K}的一个分量为1时（此时其它分量均为0），H(X)=0。（这就是说，当随机变量X实际上是个常量时，不含有任何信息量）。 §2.2 离散型随机变量的平均自信息量（熵） 4、可忽略性：当随机变量X的某个事件的概率很小时，该事件对熵的贡献可以忽略不计。（虽然小概率事件的自信息量很大。这是因为当qk→0时，qkloga(1/qk)→0）。 5、可加性： H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。 因此，H(XY)≥H(X)； H(XY)≥H(Y)。 （性质5有一个隐含的结论：设X的概率向量为 {q1, q2, …, qK}， Y的概率向量为 {q1, q2, …, qK-2, qK-1+qK}， 其中qK-1qK0，则H(X) H(Y)。 ） §2.2 离散型随机变量的平均自信息量（熵） 6、极值性：H(X)≤logaK。当q1=q2=…=qK=1/K时，才有 H(X)=logaK。 （以下是极值性的证明过程） 引理1 对任何x0总有lnx≤x-1。 证明 令f(x)=lnx-(x-1)，则f‘(x)=1/x-1。因此 当0x1时f‘(x)0；当x1时f‘(x)0。 换句话说， 当0x1时，f(x)的值严格单调增； 当x1时，f(x)的值严格单调减。 注意到f(1)=0。所以对任何x0总有f(x)≤f(1)=0。得证。 §2.2 离散型随机变量的平均自信息量（熵） 引理2 设有两个K维概率向量（什么叫概率向量？） {qk, k=1~K}和{pk, k=1~K} 。 则总满足 §2.2 离散型随机变量的平均自信息量（熵） 证明 注