熵与信息-张学文.DOC

第一章熵与信息 （电子版：盛艳霞OCR，编辑张学文 2007.12 -2008.01） 1、对事物不肯定程度的度量——熵 2、熵函数的性质 3、连续的随机变量的熵 4、随机矢量的熵 5、条件熵 6、信息‘ 7、正态分布下的信息收获 8、信息在变换中的保守性  熵与信息 很多自然科学的发展历史都说明了当一门学科逐步成熟时，经常把它的一些重要概念从定性走向定量化。事实证明，这些定量化了的东西对于探讨它们之间的逻辑、数学、物理关系有莫大好处。显然，如果至今我们对机械的、电的、光的、热的……等种种形态的能量如何定量地表示出来都搞不清，恐怕我们也难以有现代的科学技术水平。类似地讲，假如我们对气象观测和气象预告任务的大小没有一个定量地科学地测度办法；对预告因子的预告本领的大小和预告方法的优劣没有一个定量地、科学地测度办法，那么也难以对制约着气象预告过程中的种种定量关系了解清楚。 我们认为信息论中的熵与信息的概念恰好就是测度这些量的一个计值系统。 这一章中我们即对熵与信息的概念、计算和它们的一些内在关系作一简要介绍。 对事物不肯定程度的度量——熵 在日常生活中和科学领域，人们经常看到一些事件，它们的结局是事先不能完全肯定的。这常被称为随机事件。掷一枚硬币，正面还是反面向上？掷一个骰子那一点向上？这些都事先不能肯定。观测一次气温其数值是多少？也是事先不能肯定。只要认真思考一下我们周围事物中这种事先不肯定的事件确实不少。研究这种事物固然比研究必然性的事物困难得多，但人们还是找到了从某些侧面研究它的办法。为要恰当定量地把事物的不肯定程度的大小表示出来，信息论中就引入了熵的概念。 在前例中显然掷硬币结局的不肯定性要比掷骰子结局的不肯定性要小些。先把这两个事件和它们的概率分布（分别为1/2和1/6 ）表示如下 掷硬币事件A A1 A2 正面 反面 出现概率p(A) 1/2 1/2 掷骰子事件B B1 B2 B1 B4 B5 B6 1点 2点 3点 4点 5点 6点 出现概率p(B) 1/6 1/6 1/6 1/6 1/6 1/6 这里事件A（掷硬币）有两个概率都为1/2的结局。事件B（掷骰子）有六个概率都为1/6的结局。从直观上看B的结局多，不肯定性比A大。所以凡是概率相等的事件的个数（A为2，B为6）愈多，则不肯定性愈大，我们就说熵愈大。以H表示熵则有 H=f(k) (1.1) H(A)=f(2) H(B)=f(6) H(B)H(A) (1.2) 这里H(A)和H(B)分别表示A和B两事件的熵。f是某种函数。k是概率相等的事件的总个数。 为了决定函f的形式，我们再考虑由各掷一次硬币和骰子组成的复合事件。当A为A1时B有六种可能情况。A为A2时B又有六种可能情况。故复合事件由12个可能结局组成。依概率论中独立事件的乘法定理。每个结局出现的概率都是(1/2)×(1/6)=1/12。即仍为概率相等的事件，仅是事件个数k=12而已。故有 H(A,B)=f(12) (1.3) 这时我们希望这种由复合事件构成的事件的熵为各个事件的熵的和（两事件独立时）。即有 H(A,B)= H(A)+H(B) (1.4) 或 f(12)= f(2)+ f(6) (1.5) 再则,当某一事件只有一个结局时，它也就是不再是不肯定事件，而是出现概率为1的必然事件。这时希望不肯定程度变成零，即有 f(1)=0 (1.6) 不难看出，如f取对数（log）形式，则恰可满足（1.2），（1.5）和（1.6）式关系。实际上信息论创造者Shannon等人推得的不肯定性的度量H恰好就是这种形式，即 H=logk （1.7） （1.7）式就是由k个概率相等的互不相容事件组成一个完备事件时,每一个结局出现的不肯定性的大小的熵值。这时共k个可能结局。故每一结局出现的概率p为1/k。即（1.7）式也可以改写成 H= logk=-log(k)-1=-log(1/k) H=-logp （1.8） 实际上（1.8）式不仅可以用于每一结局的出现概率完全相等的场合，而且可以推广到各结局出现概率不相等的场合上去。现设某地刮风与否问题C分为不出现大风C1和出现大风C2两种情况。其对应的出现概率分别为0.9和0.1。这时问:出现和不出现大风的熵各是多少。显然由于不出现大风的肯定性大，故它的熵——不肯定程度就要小。而出现大风的熵就要大些。这时应有H（C1）＜H（C2）H(C)=p1H(C1)+p2H（C2） =- p1logp1-p2logp2 或 （1.9）