第一章熵与信息张学文.docxVIP

张学文：气象预告问题的信息分析 第一章 熵与信息 第一章熵与信息 （电子版：盛艳霞 OCR ，编辑张学文 2007.12 -2008.01 ） 1、对事物不肯定程度的度量——熵 2、熵函数的性质 3、连续的随机变量的熵 4、随机矢量的熵 5、条件熵 6、信息 ‘ 7、正态分布下的信息收获 8、信息在变换中的保守性 原书 1-28 页 0 张学文：气象预告问题的信息分析 第一章 熵与信息 第一章 熵与信息 很多自然科学的发展历史都说明了当一门学科逐步成 熟时，经常把它的一些重要概念从定性走向定量化。 事实证 明，这些定量化了的东西对于探讨它们之间的逻辑、数学、 物理关系有莫大好处。 显然，如果至今我们对机械的、 电的、 光的、热的 等种种形态的能量如何定量地表示出来都搞不清，恐怕我们也难以有现代的科学技术水平。类似地讲，假如我们对气象观测和气象预告任务的大小没有一个定量地科学地测度办法；对预告因子的预告本领的大小和预告方法的优劣没有一个定量地、 科学地测度办法， 那么也难以对制约着气象预告过程中的种种定量关系了解清楚。 我们认为 信息论中的熵与信息的概念恰好就是测度这些量的一个计值系统。 这一章中我们即对熵与信息的概念、 计算和它们的一些内在关系作一简要介绍。 1、 对事物不肯定程度的度量——熵 在日常生活中和科学领域， 人们经常看到一些事件， 它们的结局是事先不能完全肯定的。 这常被称为随机事件。 掷一枚硬币，正面还是反面向上？掷一个骰子那一点向上？这些都事先不能肯定。观测一次气温其数值是多少？也是事先不能肯定。只要认真思考一下我们周围事物中这种事先不肯定的事件确实不少。研究这种事物固然比研究必然性的事物困难得多，但人们还是找到了从某些侧面研究它的办法。 为要恰当定量地把事物的不肯定程度的大小表示出来， 信息论 原书 1-28 页 1 张学文：气象预告问题的信息分析 第一章 熵与信息 中就引入了熵 1的概念。 在前例中显然掷硬币结局的不肯定性要比掷骰子结局 的不肯定性要小些。 先把这两个事件和它们的概率分布 （分别为 1/2 和 1/6 ）表示如下 掷硬币事件 A A1 2 A 正面 反面 出现概率 p(A) 1/2 1/2 掷骰子事件 B B1 2 1 4 5 6 B B B B B 1 点 2 点 3 点 4 点 5 点 6 点 出现概率 p(B) 1/6 1/6 1/6 1/6 1/6 1/6 这里事件 A（掷硬币）有两个概率都为 1/2 的结局。事 B（掷骰子）有六个概率都为 1/6 的结局。从直观上看 B 的结局多，不肯定性比 A 大。所以凡是概率相等的事件的个数（ A 为 2，B 为 6）愈多，则不肯定性愈大，我们就说熵愈大。以 H 表示熵则有 H=f(k) (1.1) H(A)=f(2) H(B)=f(6) H(B) H(A) (1.2) 这里 H(A)和 H(B)分别表示 A 和 B 两事件的熵。 f 是某种函数。 k 是概率相等的事件的总个数。 为了决定函 f 的形式，我们再考虑由各掷一次硬币和骰子组成的复合事件。当 A 为 A1 时 B 有六种可能情况。 A 为 A2 时 B 又有六种可能情况。 故复合事件由 12 个可能结局组成。依概率论中独立事件的乘法定理。 每个结局出现的概率 信息论中这个重要概念由于与物理上热力学中的熵的概念有联系，因而信息论创始人即借用这一热力学名词来表示信息论中的概念。 原书 1-28 页 2 张学文：气象预告问题的信息分析 第一章 熵与信息 都是 (1/2) ×(1/6)=1/12 。即仍为概率相等的事件，仅是事件个数 k=12 而已。故有 H A,B )= f(12) (1.3) ( 这时我们希望这种由复合事件构成的事件的熵为各个事件的熵的和（两事件独立时） 。即有 H(A,B)= H(A)+H(B) (1.4) 或 f(12)= f(2)+ f(6) (1.5) 再则 , 当某一事件只有一个结局时，它也就是不再是不肯定事件，而是出现概率为 1 的必然事件。这时希望不肯定程度变成零，即有 f(1)=0 (1.6) 不难看出，如 f 取对数（ log ）形式，则恰可满足（1.2 ）， （ 1.5 ）和（ 1.6 ）式关系。实际上信息论创造者 Shannon 等人推得的不肯定性的度量 H 恰好就是这种形式，即 Hk （ 1.7 ） =log 1.7 ）式就是由 k 个概率相等的互不相容事件组成一个完备事件时 , 每一个结局出现的不肯定性的大小的熵值。这时共 k 个可能结局。 故每一结局出现的概率 p 为 1/k 。即 1.7 ）式也可以改写成 H= logk=-log(k) -1 =-log(1/ k) H=- logp （1.8 ） 实际上（ 1.8 ）式不仅可以用