[信息熵.doc.docxVIP

一些信息熵的含义(1)信息熵的定义：假设X是一个离散随即变量，即它的取值范围R={x1，x2...}是有限可数的。设pi=P{X=xi}，X的熵定义为： (a)若(a)式中，对数的底为2，则熵表示为H2(x)，此时以2为基底的熵单位是bits，即位。若某一项pi=0，则定义该项的pilogpi-1为0。(2)设R={0,1}，并定义P{X=0}=p，P{X=1}=1-p。则此时的H(X)=-plogp-(1-p)log(1-p)。该H(x)非常重要，称为熵函数。熵函数的的曲线如下图表示：再者，定义对于任意的x∈R，I(x)=-logP{X =x}。则H(X)就是I(x)的平均值。此时的I(x)可视为x所提供的信息量。I(x)的曲线如下：(3)?? H(X)的最大值。若X在定义域R={x1,x2,...xr}，则0=H(X)=logr。(4)条件熵：定义推导：H(X|Y=y)= ∑p(x|y)log{1/p(x,y)}H(X|Y)=∑p(y)H(X|Y=y)= ∑p(y)*∑p(x|y)log{1/p(x/y)} H(X|Y)表示得到Y后，X的平均信息量，即平均不确定度。(5)?? Fano不等式：设X和Y都是离散随机变量，都取值于集合{x1,x2,...xr}。则H(X|Y)=H(Pe)+Pe*log(r-1)其中Pe=P{X≠Y}。Fano表示在已经知道Y后，仍然需要通过检测X才能获得的信息量。检测X的一个方法是先确定X=Y。若X=Y，就知道X；若X≠Y，那么还有r-1个可能。(6)互信息量：I(X;Y)=H(X)-H(X|Y)。I(X;Y)可以理解成知道了Y后对于减少X的不确定性的贡献。I(X;Y)的公式：I(X;Y)=∑(x,y)p(x,y)log{p(y|x)/p(y)}?(7)??联合熵定义为两个元素同时发生的不确定度。联合熵H(X,Y)=?∑(x,y)p(x,y)logp(x,y)=H(X)+H(Y|X)?(8)??信道中互信息的含义互信息的定义得：I(X,Y)=H(X)-H(X|Y)= I(Y,X)=H(Y)-H(Y|X)若信道输入为H(X)，输出为H(Y)，则条件熵H(X|Y)可以看成由于信道上存在干扰和噪声而损失掉的平均信息量。条件熵H(X|Y)又可以看成由于信道上的干扰和噪声的缘故，接收端获得Y后还剩余的对符号X的平均不确定度，故称为疑义度。条件熵H(Y|X)可以看作唯一地确定信道噪声所需要的平均信息量，故称为噪声熵或者散布度。(9)??I(X,Y)的重要结论互信息?互信息I(X,Y)只是输入信源X的概率分布P(xi)和信道转移概率P(yj|xi)的函数，可以证明当P(xi)一定时，I是关于P(yj|xi)的∪函数，存在极小值；当P(yj|xi)一定时，I是关于P(xi)的∩函数，存在极大值。(10)??联合熵、条件熵的关系图。H(X)=H(X|Y)，H(Y)=H(Y|X)。信息熵信息熵(Information Entropy)[编辑]什么是信息熵　信息熵是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。[编辑]信息熵的计算　根据Charles H. Bennett对Maxwells Demon的解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。　信源的平均不定度。在信息论中信源输出是随机量，因而其不定度可以用概率分布来度量。记 H(X)＝H(P1，P2，…，Pn)＝P(xi)logP(xi)，这里P(xi)，i＝1，2，…，n为信源取第i个符号的概率。P(xi)=1，H(X)称为信源的信息熵。　熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值，称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出，对任何已知孤立的物理系统的演化，热熵只能增加，不能减少。然而这里的信息熵则相反，它只能减少，不能增加。所以热熵和信息熵互为负量。且已证明，任何系统要获得信息必须要增加热熵来补偿，即两者在数量上是有联系的。　可以从数学上加以证明，只要H(X)满足下列三个条件：　①连续性：H(P，1－P)是P的连续函数(0≤P≤1)；　②对称性：H(P1，…，Pn)与P1，…，Pn的排列次序无关；　③可加性：若Pn＝