信息科学基础2015_04.pdfVIP

信息科学基础 张云飞 计算数学教研室 Tel 第二章 信息的度量 §2.1 自信息 §2.2 香农熵 §2.3 互信息 §2.4 熵和互信息的其它性质 §2.5 连续型随机变量的信息量 §2.6 最大熵原理 §2.2 香农熵 2.2.1 香农熵 2.2.2 联合熵与条件熵 2.2.1 香农熵 设离散随机变量X 的概率分布为： ⎛x1 x 2 L xn ⎞ X ~ ⎜⎜ ⎟⎟ (2.2.1) ⎝p 1 p 2 L p n ⎠ X {x ,x , L,x } 这里 1 2 n 是随机变量X 的取值空间， 这时 n X 表示集合所含的元素个数，X 取值 为xi 的概率为： p P {X x },i 1,2, L, n (2.2.2) i r i 或 p {p , p , L, p } 1 2 n 这里Pr {A }表示随机事件A 的概率． p {p , p , L, p } 满足概率分布的完备性准则， 1 2 n n 即 p i ≥0 ，i 1,2, L, n 并且 ∑p i 1 (2.2.3) i 1 特别地，若某个 p i 1，而其余的p j 0(j ≠i) ， 则随机变量X 的概率分布就称为决定性分 布．对概率分布p 我们有时直接记为p (x) ，它 表示p (x ) P {X x }, x ∈X ． r 实际生活中，一个随机事件的不确定性与 其概率分布有关．如极端情形，当随机变量 是一个常量时，它是完全确定的，其不确定 性为零． 又如，当概率分布取均匀分布 ⎛x1 x 2 L xn ⎞ ⎜ ⎟ X ~ ⎜ 1 1 L 1 ⎟ (2.2.4) ⎝n n n ⎠ 时，其不确定性为最大，而且当n增大时其不 确定性也会增大． 例2.2.1 若袋中装有大小、质地相同的球 100个，请确定以下三种情况下事件的不确定 性大小： a 这些球的标号不同，从中任取一个判断 是那个标号的不确定性； b 黑球和白球各50个，从中任取一个判断 是那种颜色的不确定性； c 黑球1个和白球99个，从中任取一个判断 是那种颜色的不确定性． 随机变量X 的每一个取值的自信息量I(x) 的 统计平均值定义为随机变量X 的香农熵： H (X ) E [I (x)] − p (x) log p (x) ∑ (2.2.5) x ∈X 香农熵又称为平均