信息熵的基本性质.pptVIP

电子信息工程学院 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 设离散信源X的概率空间为： 信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。 当信源消息集的个数q 给定时，信源的信息熵是概率分布P(x)的函数,概率分布用概率矢量P来表示： 2.3 信息熵的基本性质 这样，信息熵 是概率矢量P或它的分量 的 元函数(各分量 满足 ,所以独立变量只有 元)。一般式可写为： 是概率矢量P的函数，称为熵函数 2.3 信息熵的基本性质 熵函数也是一种特殊的函数，它的函数形式为： 它具有下列一些性质。 (1)对称性：当变量 任意变换时，熵函数的值不变，即： 2.3 信息熵的基本性质 该性质表明：熵只与随机变量的总体结构有关，即与信源的总体的统计特性有关。 差别：信源X与Y同一消息的概率不同，X与Z的具体信息不同，但它们的信息熵相同，表示三个信源总的统计特性相同，它们的信息数和总体结构是相同的。即： 2.3 信息熵的基本性质 如： (2)确定性： 因为在概率矢量 中，当分量 时有 。而其余分量 该性质说明：信源虽然有不同的输出符号，但只有一个消息几乎必然出现，而其它符号则是几乎不可能出现，那么这个信源是确知信源，其熵等于零。 2.3 信息熵的基本性质 (3)非负性： 该性质是非常明显的，因为随机变量X的所有取值的概率分布满足 时，熵是正值的，只有当随机变量是确知量时，其熵等于零。 这种非负性对于离散信源而言是正确的，但对于连续信源来说这一性质就不一定存在。以后可以看到，在差熵的概念下，可能出现负值。 2.3 信息熵的基本性质 (4)扩展性 因为： 说明：信源的消息数增多时，若这些消息对应的概率很小(接近于零)，则信源的熵不变。 2.3 信息熵的基本性质 (5)可加性： 统计独立信源X和Y的联合信源的熵等于分别的熵之和。 两个随机变量X和Y，相互独立，X概率分布为： , Y的概率分布为 。 则： 根据熵函数表达式有： 2.3 信息熵的基本性质 故： 2.3 信息熵的基本性质 可加性是熵函数的一个重要特性，正因为具有可加性，所 以可以证明熵函数的形式是唯一的，不可能有其他的形式存在。 (6)强可加性： 两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上信源X已知条件下信源Y的条件熵。 设两个随机变量X和Y，互相关联，X概率分布为： Y的概率分布为 ： 其中 ： 叫条件概率，来描述彼此的关联。 叫联合概率 2.3 信息熵的基本性质 2.3 信息熵的基本性质 证明： 式中右边第一项是信源 的熵 。 第二项中 所以，熵函数 就是 和 的联合信源的联合熵 。 2.3 信息熵的基本性质 它表示已知信源 取值 下，信源 选取一个值所提供的平均信息量。此量对 取统计平均值，表示在信源 输出一个符号的条件下，信源 再输出一个符号所提供的信息量，记作 , 称为条件熵 。 因此，强可加性式可写成： 显然，可加性是强可加性的特殊情况，当信源 和 统计独立时，其满足： 2.3 信息熵的基本性质 可得： (7)极值性 此性质表明：在离散信源情况下，对于具有 个符号的离散信源，只有当它们等可能出现时，信源熵才能达到最大值。即表明等概率分布信源的平均不确定性最大，我们称该结论为最大离散