信息论第二章离散信源与信息熵（下）.pptVIP

第二章.信息的度量与信息熵§2.7信息散度(TheInformationDivergence)一、数学定义和物理概念如果把和定义在同一概率空间上的两种概率测度，则定义p相对与q的信息散度为：信息散度又称为相对熵(relativeentropy)、鉴别信息(discriminationinformation)、方向散度(directeddivergence)、交叉熵(cross-entropy)等名称，它是两个概率分布函数p和q之间“差别”的一种度量。§2.7信息散度二、散度不等式(divergenceinequality)如果在一个共有的离散信源的概率空间上给定出两个概率分布函数P(x)和q(x)，那么注：当且仅当对所有的x,p(x)=q(x)时，等式成立。也成为KullbackLeibler距离，之所以称其为概率测度间的散度而不是距离，是由于它所定义的值不满足距离特性的对称性和不满足三角不等式。因此信息散度的度量是为了给出当真实分布为p，而假定分布q时的无效性。D(p//q)≠D(q//p)＆D(p//q)≤D(r//p)＋D(q//r)§2.7信息散度证明：此不等式成为散度不等式。§2.7信息散度例2－7：设A＝{0,1},考虑在A上的两个概率分布p和q。若：求散度D(p//q)和D(q//P),并计算当r=s和r=2s=1/2时的值。解：根据信息散度的定义式，有：如果r=s，则D(p//q)=D(q//p)=0,但若：r=2s=1/2§2.7信息散度而显然：可以证明互信息是信息散度的一个特例。如果两个随机变量X和Y，它们的联合概率分布为r(xy),其边缘分布分别为p(x)；q(y);则：第二章.信息的度量与信息熵三、条件信息散度(ConditionalInformationDivergence)条件信息散度又称为条件相对熵(Conditionalrelativeentropy)、条件鉴别信息(Conditionaldiscriminationinformation)等名称，它是在已知条件p(x)下两个条件概率函数p和q之间“差别”的一种度量方法。第二章.信息的度量与信息熵四、信息散度的链式法则：证明：第二章.信息的度量与信息熵§2.8序列的信息熵(TheEntropyofSequenceSource)一、序列熵(SequenceEntropy)如果我们把一系列的消息符号事件看成一个消息事件，如：则此消息事件的发生概率应是一个联合概率：DefinitionofSequenceentropy:defdef§2.8序列的信息熵序列熵的定义有了，但由于联合概率不易求得，实际上也无多大应用价值。因此我们寻求一个不需要联合概率而能统计出序列的特征值。二、平均符号熵(averagesymbolentropy)定义：同样这个定义也无多大价值，但有了这层关系，我们希望它能间接反映序列的特征量。注：以上两个定义中我们并没有对消息序列给出任何限制，这实际上导致定义不适用的主要原因。如果我们对序列的记忆性、平稳性、遍历性等加以限制，才可得到较为实用的一些结论。def1°.平稳性(Stationary)即反映序列的统计规律与统计的起始点无关！§2.8序列的信息熵三、极限熵(LimitingEntropy)有的书中称作熵率(Entropyrateofastationarysource)：则序列为平稳序列。2°.遍历性（各态历经性）(Ergodic)即反映序列的集合平均等于它的时间平均特性。def有了这两条对信源的限制，才进一步对有记忆的信源memorySource定义出极限熵的概念。§2.8序列的信息熵