管理信息学第2章.pptVIP

* * * * * * * * * * * * * * * 自信息采用的单位取决于对数的底，如果取2为底，则所得的信息量单位为比特（Bit），如果取e为底，则所得的信息量的单位为奈特（Nat），如果取10为底，则所得的信息量单位为哈特（Hart）。一般情况下我们都是以2为底，为了简洁起见，常把底数略去不写。 * * * * * 所谓态函数,就是指它们的数值由系统的状态唯一地确定,而与系统如何达到这个状态的过程无关。 1850年，德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越大。一个体系的能量完全均匀分布时，这个系统的熵就达到最大值。 在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。 波尔兹曼熵：分子热运动无序性或混乱性的度量 孤立系统的熵永不减少（熵增原理） * * * * * * * * * * * * * * * * * * * * * * * * * * 信息是消除不确定性的东西。假设用I(p1,…,pn)表示消除不确定性Hs(p1,…,pn)所需要的信息量，有 I(p1,…,pn)= Hs(p1,…,pn)－0= Hs(p1,…,pn) 所以Hs(p1,…,pn)既可以看作随机事件中的不确定性，也可以看作为消除这个不确定性所需要的信息量。 香农信息熵：含义 例题 例：世界杯足球赛有32支球队参赛，最终谁能夺冠是一个随机事件。假设每一支球队夺冠的概率都相等，请计算该随机事件的熵。 解：该随机事件的熵为： 例：有一布袋内放100个球，其中90个球是红色的，10个球是蓝色的。若随机摸取一个球，告知其颜色。求平均摸取一次所能获得的信息量。 解：该随机事件的概率空间为 I(X) =H(X) = -? p(ai) logp(ai)= - 0.9log(0.9)- 0.1log(0.1) = 0.649 (bit) 例题 证明：先考虑等概率(N个状态)选择的情况 令 : 由条件（3），对于MN个状态有: 香农概率熵：香农定理证明 . . . . . . . . . 1/M 1/M 1/N 1/N 1/N 1/MN 1/MN 1/MN 1/MN 因而有(当M=N时): A(N2)=2A(N) 一般地: A(Sm)= mA(S) 或 A(tn)= nA(t) 对于给定的n，总能找到适当的m，使得: Sm ≤ tn ＜ Sm+1 香农概率熵：香农定理证明 另一方面，由条件（2）(关于状态数单调增)得: A(Sm) ≤ A(tn) A(Sm+1) 故: mA(S) ≤ nA(t) ＜ (m+1)A(S) 两边取对数，并除以nlogS，得: 两边除以nA(S)，得: 若n足够大，则: 式中ε是任意小的正数。 香农概率熵：香农定理证明 m/n m/n+ 1/n 1/n A(t)/A(S) log t/log S 在极限情况下有: 令 : A(t) = Klog t 由条件(2)知，K必为正数。因此，在等概率情况下定理成立。 香农概率熵：香农定理证明 不确定性与状态数之间的变化关系(等概率) 考虑概率不等的情况。设事件发生的概率分别为p1,…,pN，又设ε’是 p1, …, pN 的公因子，使得 其中ni是正整数。这样，可以把N个非等概率事件等效地看成 个等概率事件，其中每个事件出现的概率为ε’。 香农概率熵：香农定理证明(概率不等情况) 概率不等转换成等概率随机事件 . . . . . . . . . p1 pN ? ? ? 1/n1 1/nN ? 1/n1 1/nN 于是有： 证毕。 香农概率熵：香农定理证明 考察一个标准的二选一实验，即有两种可能结果且两种结果出现的概率相等。根据香农熵公式，有 取2为对数的底，并令 ，得常数 K=1 ,香农熵公式变为： 当对数以2、e和10为底时，信息度量单位分别称为比特（Bit）、奈特（ Nat）和哈特，并规定当某个pi=0时，0log0=0 。 香农概率熵：信息量单位 香农信息熵：性质 （1）对称性