信息科学基础2015_06.pdfVIP

信息科学基础 张云飞 计算数学教研室 Tel 第二章 信息的度量 §2.1 自信息 §2.2 香农熵 §2.3 互信息 §2.4 熵和互信息的其它性质 §2.5 连续型随机变量的信息量 §2.6 最大熵原理 §2.4 熵和互信息的其它性质 2.4.1 熵的其它性质 2.4.2 条件互信息的定义与性质 2.4.3 互信息的其它性质 2.4.1熵的其它性质 §2.2讨论了熵函数的简单性质，结合函数的 凸性和重要不等式，讨论熵函数的其它性质． H (p ) p 定理2.4.1 (熵函数的上凸性) 是关于 的 p (p ,p , L, p ) ′ ′ ′ ′ p (p , p , L, p ) 上凸函数，设 1 2 n ， 1 2 n ， n n p 1 p ′ 1 0 ≤α≤1 ， ，当 ，下面不等式成立： ∑ i ∑ i i 1 i 1 ′ ′ (2.4.1) H [αp +(1−α)p ] ≥αH (p ) +(1−α)H (p ) ′ X X p p 证明：设 和 是分别具有分布率 和 的 1 2 随机变量，且它们都在X 中取值． ⎧1 以概率α θ ⎨ 2 以概率1−α ⎩ Z X Z αp +(1−α)p ′ 令 θ ，则 有概率分布 ，由熵、条 件熵与互信息的关系：H (Z ) −H (Z |θ) I (Z ;θ) ≥0 ， 所以H (Z ) ≥H (Z |θ) ． ′ H (Z |θ) P {θ 1}H (X ) +P {θ 2}H (X ) αH (p ) +(1−α)H (p ) r 1 r 2 ， ′ ′ 即H [αp +(1−α)p ] ≥αH (p ) +(1−α)H (p ) ． 证明了上凸性． 　 定理2.4.2 (熵函数的极值性)