离散信源及其信息测度.pptVIP

第1页，共22页。2.3信息熵的基本性质H(X)表示以离散随机变量X描述的信源的信息熵。H(P)或H(p1,p2,…,pq)表示概率矢量为P=(p1,p2,…,pq)的q个消息信源的信息熵。第2页，共22页。2.3信息熵的基本性质对称性确定性非负性扩展性可加性强可加性递增性极值性上凸性第3页，共22页。2.3信息熵的基本性质——对称性1、对称性根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。信源的熵只与概率空间的总体结构有关，即与信源的总体的统计特性有关（含有的消息数和概率分布），而与每个概率分量对应的状态顺序无关。第4页，共22页。2.3信息熵的基本性质——对称性熵表征信源总的统计特征，总体的平均不确定性，不能描述事件本身的具体含义和主观价值。三个信源的概率空间为若其中a1、a2、a3分别表示红、黄、蓝三个具体消息，而b1、b2、b3分别表示晴、雾、雨三个消息。第5页，共22页。2.3信息熵的基本性质——确定性2、确定性当信源X的信源空间[X，P]中，任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。第6页，共22页。2.3信息熵的基本性质——非负性3、非负性这种非负性对于离散信源的熵而言是正确的，但对连续信源来说这一性质并不存在。在差熵的概念下，可能出现负值。H(X)≥0由于0≤pi≤1，所以logpi≤0，-logpi≥0，则总有H(X)≥0。第7页，共22页。2.3信息熵的基本性质——扩展性4、扩展性信源消息集中的消息数增多时，若这些消息对应的概率很小（接近于0），则信源的熵不变。这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，概率很小的事件几乎不会出现，在信源熵中占极小的比重，使信源熵保持不变。这也是熵的总体平均性的一种体现。例如，在预报晴天的情况下再预报降水概率意义不大。第8页，共22页。2.3信息熵的基本性质——可加性5、可加性统计独立信源X和Y的联合信源的熵等于分别熵之和。H(XY)=H(X)+H(Y)第9页，共22页。2.3信息熵的基本性质——可加性甲布袋的信源是：例题设在甲布袋中，放入n个不同阻值的电阻。如果随意选取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性。甲布袋的概率空间为其中ai代表阻值为i的电阻，P（ai）是选取出阻值为i电阻的概率。为简便起见，假设电阻选取的概率是相等的，则。第10页，共22页。2.3信息熵的