教育信息处理04.pptVIP

三、熵的意义 熵的意义：熵的大小可用于表示概率系统的不确定程度。 设某一概率系统中，每一事件产生的概率分布为（1，0，···，0），它表示，该系统中某一事件发生的概率为1，其它事件产生的概率为0，这是一个确定系统，不确定度为0。计算该系统的信息熵，有H=－1×log1=0。 设某一概率系统中，其概率分布是均匀的，它表示系统中每一事件产生的概率相等。该系统的信息熵具有最大值（在相同事件数的情况下）H=logn。 设概率系统A、B的分布为： PA=(0.5,0.5,0,0,0) PB=(0.5,0.125,0.125,0.125,0.125)试比较它们哪一个系统的不确定程度大。 H(PA)=1(bit) H(PB)=2(bit) 2、对称性 某系统中n个事件的概率分布为(p1,p2,……,pn) 当我们对事件位置的顺序进行人意的置换后，得到的新的概率分布(p11,p21,……,pn1) 有以下关系成立： H(p1,p2,……,pn)=H(p11,p21,……,pn1) 当p1,p2,……,pn任意互换顺序时，熵值不变，即H(p1,p2,p3)=H(p1,p3,p2)=H(p3,p2,p1) 5、展开性 设某一系统的概率分布为:(p1,p2,…,pn) 该系统的信息熵具有: H(p1,p2,…,pn)=H(p1,p2,…,pn,0) 这样的展开性质。在此基础上，进一步展开有： H(p1,p2,……,pn)=H(p1,p2,……,pn,0,…,0) 6、确定性 概率系统中，任一事件产生的概率为1，则其它事件产生的概率为0，这是一种确定的系统。 对于这样的系统，有： H(1,0)=H(0,1)=0 H(1,0,…,0)=H(0,…,0,1,0,…,0)=H(0,…0,1)=0 一、相对信息熵h 一个实际系统输出的熵H(X)与其最大可能的熵Hmax(X)的比值定义为相对熵： h=H(X)/Hmax(X) 二、冗余度 冗余度或剩余度可定义为: r=1-h=1-H(X)/Hmax(X) 冗余度表示了由于每种字符出现的概率不同而使信息熵减少的程度。它表示了传递信息时，不必要的冗长部分的比例。 设以英语的N个字符书写文章时，其平均信息量为H，总的信息量为NH。若以27个字符均匀出现的字符序列来表述同样的内容，相同的信息量，由于此时的平均信息量为Hmax，所需的字符数一定少于N，令其为 Nmin，则为NminHmax=NH ∴Nmin=(H/Hmax)×N=hN 它表示，以具有Hmax的27种字符书写文章，只需要Nmin=hN个字符。而冗余度为: r=1-H/Hmax=(N-Nmin)/N 它说明以效率更高的代码来表述指定的内容，与实际使用的英语相比较，其字符总数可减少r%。