第二章节(使用)毕业.pptVIP

* * * * 2. 3 信息熵的基本性质 单符号离散信源的数学模型 其中 1. 对称性 熵只与信源含有的符号数和概率分布有关 的熵是相等的。 例如 此性质表明: 熵只与信源的总体统计特性有关。这也说明信息熵有它的局限性，他不能描述事件本身的具体含义和主观价值。 3.非负性：H(X)? 0 2.确定性：对于随机变量X, 所有可能取值为a1，a2，…，aq，若有一个事件是必然事件，其余事件必为不可能事件，即该随机变量的概率分布为 则 H(X)= 0 对于连续信源不成立 4.扩展性：概率空间 则有 此性质说明: 信源的取值数增多时，若这些取值对应的概率很小（接近于零）则信源的熵几乎不变。 增加一个小概率(接近于零)事件aq+1后，得到概率空间 5. 可加性 设信源X与Y统计独立, 则 即 6. 强可加性 推广 证明 设X和Y的概率空间分别为 由联合熵的定义，有 和 7. 递增性 其中 此性质说明: 若信源中有一元素(符号 )分割成m个元素，而这m个元素的概率之和等于原元素的概率，则新信源的熵增加。这是由于分割所产生的不确定性而导致熵的增加，所增加量为第二项。 例1 解 由熵函数的递增性，得 (比特/符号) 凸集合与凸函数 简单介绍凸集和凸函数的概念。 定义1 是n维实向量空间的集合G中的任意两个n维向量， 对实数θ，0 ?θ? 1，有 θα+（1-θ）β ∈ G 则称G为凸集合。 图2－3 一维和二维凸集合的例子 凸集合 非凸集合 从直线和平面来看，若α，β是集合G中的任意两点，θα+（1-θ）β表示这两点间的连线，若该连线也在集合G中，则称为G凸集。下面给出了几个凸集和非凸集合的例子。 定义2 设f(x) = f (x1, x2, … , xn) 为一个n元函数，若对任意 f (x1), f (x2)∈ f (x) ，任意正数θ，0 ?θ? 1，有 θf (x1) +（1-θ）f (x2) ? f [θx1 +（1-θ）x2] x 0 x1 θx1+(1-θ) x2 x2 一元∩型凸函数 f (x1) θf (x1)+(1-θ) f (x2) f [θx1+(1-θ)x2] f (x) f (x2) 则称f(x)为定义域上的∩型凸函数。 一元∩型凸函数可用如图所示的几何图形表示。 定义3 设f(x) = f (x1, x2, … , xn) 为一个n元函数，若对任意f (x1), f (x2)∈ f (x) ，任意正数θ，0 ?θ? 1，有 f [θx1 +（1-θ）x2] ?θf (x1) +（1-θ）f (x2) 一元∪型凸函数 x1 θx1+(1-θ) x2 x2 f (x1 ) f [θx1+(1-θ) x2] θf (x1)+(1-θ) f (x2) f (x) f (x2 ) 则称f(x)为定义域上的∪型凸函数。 一元∪型凸函数可用如图所示的几何图形表示。 8.极值性 等号当且仅当各消息等概分布时成立。 证：利用log x的∩型凸函数性质 等号当且仅当 该证明方法是信息论中经常用到的证明方法. 时成立 . 9．上凸性 习题 1. 设有信源 求这信源的熵，并解释为什么H(X)log6, 不满足信源熵的极值性 . 解 该信源的熵为 (比特/符号). 可见，H(X)log6≈2.58496, 不满足信源熵的极值性 . 这是因为 该信源空间不满足完备性 . * * *