第一章熵与信息-张学文.doc

第一章熵与信息 （电子版：盛艳霞OCR，编辑张学文 2007.12 -2008.01） 1、对事物不肯定程度的度量——熵 2、熵函数的性质 3、连续的随机变量的熵 4、随机矢量的熵 5、条件熵 6、信息‘ 7、正态分布下的信息收获 8、信息在变换中的保守性  熵与信息 很多自然科学的发展历史都说明了当一门学科逐步成熟时，经常把它的一些重要概念从定性走向定量化。事实证明，这些定量化了的东西对于探讨它们之间的逻辑、数学、物理关系有莫大好处。显然，如果至今我们对机械的、电的、光的、热的……等种种形态的能量如何定量地表示出来都搞不清，恐怕我们也难以有现代的科学技术水平。类似地讲，假如我们对气象观测和气象预告任务的大小没有一个定量地科学地测度办法；对预告因子的预告本领的大小和预告方法的优劣没有一个定量地、科学地测度办法，那么也难以对制约着气象预告过程中的种种定量关系了解清楚。 我们认为信息论中的熵与信息的概念恰好就是测度这些量的一个计值系统。 这一章中我们即对熵与信息的概念、计算和它们的一些内在关系作一简要介绍。 对事物不肯定程度的度量——熵 在日常生活中和科学领域，人们经常看到一些事件，它们的结局是事先不能完全肯定的。这常被称为随机事件。掷一枚硬币，正面还是反面向上？掷一个骰子那一点向上？这些都事先不能肯定。观测一次气温其数值是多少？也是事先不能肯定。只要认真思考一下我们周围事物中这种