离散型随机变量的平均自信息量讲义.pptVIP

29十一月2025离散型随机变量的平均自信息量讲义

§2.2离散型随机变量的平均自信息量（熵）定义2.2.1(平均自信息量——熵)离散型随机变量{X,xk,qk,k=1~K}的平均自信息量（又称为熵）定义为如下的H(X)，其中底数a是大于1的常数。11/29/20252

§2.2离散型随机变量的平均自信息量（熵）注意：（1）事件xk的自信息量值为h(xk)=loga(1/qk)，因此H(X)是随机变量X的各事件自信息量值的“数学期望”。（2）定义H(X)时，允许某个qk=0。（此时将qkloga(1/qk)通盘考虑）此时补充定义qkloga(1/qk)=0。这个定义是合理的，因为11/29/20253

§2.2离散型随机变量的平均自信息量（熵）例2.2.1离散型随机变量X有两个事件x1和x2，P(X=x1)=p，P(X=x2)=1-p。则X的平均自信息量（熵）为H(X)=ploga(1/p)+(1-p)loga(1/(1-p))。观察H(X)（它是p的函数，图2.2.1给出了函数图象，该图象具有某种对称性），有当p=0或p=1时，H(X)=0。（随机变量X退化为常数时，熵为0）当0p1时，H(X)0。p越靠近1/2，H(X)越大。（X是真正的随机变量时，总有正的熵。随机性越大，熵越大）当p=1/2时，H(X)达到最大。（随机变量X的随机性最大时，熵最大。特别如果底数a=2，则H(X)=1比特）11/29/20254

§2.2离散型随机变量的平均自信息量（熵）定义2.2.2(条件熵)给定一个二维离散型随机变量{(X,Y),(xk,yj),rkj,k=1~K;j=1~J}。称如下定义的H(X|Y)为X相对于Y的条件熵。11/29/20255

§2.2离散型随机变量的平均自信息量（熵）定义2.2.3(联合熵)二维离散型随机变量{(X,Y),(xk,yj),rkj,k=1~K;j=1~J}的联合熵定义为11/29/20256

§2.2离散型随机变量的平均自信息量（熵）熵、条件熵、联合熵之间的关系：（1）H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。（由定义容易证明）（2）当X与Y相互独立时，H(Y|X)=H(Y)，因此此时H(XY)=H(X)+H(Y)。证明此时11/29/20257

§2.2离散型随机变量的平均自信息量（熵）熵的性质对于随机变量{X,xk,qk,k=1~K}的熵H(X)=∑kqkloga(1/qk)，有以下的性质。1、H(X)与事件{xk,k=1~K}的具体形式无关，仅仅依赖于概率向量{qk,k=1~K}。而且H(X)与概率向量{qk,k=1~K}的分量排列顺序无关。2、H(X)≥0。完全同理，H(X|Y)≥0；H(Y|X)≥0；H(XY)≥0。3、确定性：当概率向量{qk,k=1~K}的一个分量为1时（此时其它分量均为0），H(X)=0。（这就是说，当随机变量X实际上是个常量时，不含有任何信息量）。11/29/20258

§2.2离散型随机变量的平均自信息量（熵）4、可忽略性：当随机变量X的某个事件的概率很小时，该事件对熵的贡献可以忽略不计。（虽然小概率事件的自信息量很大。这是因为当qk→0时，qkloga(1/qk)→0）。5、可加性：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。因此，H(XY)≥H(X)；H(XY)≥H(Y)。（性质5有一个隐含的结论：设X的概率向量为{q1,q2,…,qK}，Y的概率向量为{q1,q2,…,qK-2,qK-1+qK}，其中qK-1qK0，则H(X)H(Y)。）11/29/20259

§2.2离散型随机变量的平均自信息量（熵）6、极值性：H(X)≤logaK。当q1=q2=…=qK=1/K时，才有H(X)=logaK。（以下是极值性的证明过程）引理1对任何x0总有lnx≤x-1。证明令f(x)=lnx-(x-1)，则f‘(x)=1/x-1。因此当0x1时f‘(x)0；当x1时f‘(x)0。换句话说，当0x1时，f(x)的值严格单调增；当x1时，f(x)的值严格单调减。注意到f(1)=0。所以对任何x0总有f(x)≤f(1)=0。得证。11/29/202510

§2.2离散型随机变量的平均自信息量（熵）引理2设有两个K维概率向量（什么叫概率向量？）{qk,k=1~K}和{pk,k=1~K}。则总满足11/29/202511

§2.2离散型随机变量的平均自信息量（熵）证明注意到引理1，11/29/202512