第二章广义热力学第二定律与信息损失-幸存者之家.pdfVIP

第二章 广义热力学第二定律与信息损失 一般的热力学书籍中都叙述了热力学第二定律的好几种表述方式，例如，克劳修斯、开尔文、 普朗克以及喀喇氏的表述方式等。这些表述方式是相互等价的，可以由其中的一种推出另一种来。 利用克劳修斯定义的熵函数所表述的热力学第二定律说，孤立系统中发生的运动和变化不可能 使熵减少，而往往是增加(熵增加定律)。统计力学的奠基人之一—— 玻耳兹曼从几率的角度表述了熵函数，使第二定律表述成统计几率的增大，即混乱和无秩序的程度增 加，这就成为进一步推广和发展热力学概念的基础。而信息论也告诉我们，一个系统如果不从外界获 得信息(这种系统可以称之为广义的孤立系统)，其中如果发生了运动和变化，它的熵(广义熵)不可 能减少，而往往是增加；或者说它的信息量不可能增加，而往往是减少。这就是热力学第二定律的信 息论表述方式。这种表述方式与热力学中的几种表述方式并不完全等价，第二定律的热力学表述方式 只适用于热力学过程，而利用广义熵所作的信息论表述方式则超出了热力学范围，可以应用于并非分 子热运动的任何其他物质运动方式和运动过程。因此，热力学第二定律的信息论表述方式也可以说是 广义的热力学第二定律。 一般的信息论书籍中都有关于这条定律的叙述。叙述的方式往往彼此有所差异，但实质是一样 的。有的用专门的术语或运用数学方法来叙述，有的则以通俗的方式加以说明。如果我们研究、比较 一下不同作者和不同书籍中关于这方面的叙述，将有助于更深刻理解这个问题。 2．1 信息论文献中的几种表述 HT5H 9 〖 〗申农，《通信的数学理论》〔 〕。热力学第二定律的信息论表述方式最先由信息 论的奠基人申农提出来。虽然申农本人在当时仅仅是作为通信的数学理论中的一条定理而提出，并未 ( 1948 意识到它和热力学第二定律的关系。申农的表述方式原文引述如下 见申农 年最先发表的原始论 7) 文，第一章定理 ： “在有限状态的统计源激励下，有限状态变换器的输出也是一个有限状态的统计源，它的熵( 每单位时间中)小于或等于输入统计源的熵。如果变换器是非奇异变换器，则它们的熵相等。” 应注意，申农在这里所说的“熵”，实际上是指信息量，即负熵。在信息论书籍中通常以熵作 为信息量的别名，而未特别注明是负熵。这一点是必须注意的(后来冯·诺意曼建议申农将不定度称 为熵而信息量则相应于负熵)。此外，所谓“非奇异变换器”是指不损失信息的变换器或无噪声的信 息变换器，又称“正规变换器”。热力学中的理想可逆热机，从信息论的观点来看，就是一种非奇异 变换器或正规变换器。 维纳，《控制论》〔8〕。几乎与申农同时，N ·维纳也提出了这条定律的类似表述，并明白 地指出了它和热力学第二定律的关系。维纳说：“信息的损失过程与熵增加的过程十分类似。信息损 失过程发生在原来是彼此分开的各个几率区域有相互融合的时候。例如，当我们把某个变数的分布用 该变数之函数的分布来代替，而这函数对该变数的不同值取相同值时，或者，当我们允许一个多变数 函数中的某个变数任意地在其自然变域上变动时，就损失信息。对信息作任何操作都不能使平均信息 量增加。这里，热力学第二定律对通讯工作完全适用。” 值得注意的是，原来是彼此分开的各个几率区域发生相互融合而变得不能分辨，这就使得不肯 定性程度(熵)增加而信息量减少。这种变换相当于信息论中有噪声变换器(或奇异变换器，非正规变 换器)对信息所作的变换。N ·维纳所说的变数变换情形也是如此。本书第八章将进一步给出维纳这 种表述方式的数学证明。 艾什比，《控制论导论》【16】。艾什比的表述是：“变异度的衰减：若有一批状态和一个 单值变换，随着时间推移，这一批状态的变异度不能增加，而常常只会减少”。“如果可能有的状态 的变异度是跟信息有联系的，即系统之处于某一状态传给我们一个特定的消息，那么随着时间的推移 A B C ( ，系统所储存的信息量就只能减少。”例如，我们有一批状态 、 和 ，有一个单值变换 把一种状 )Z A B B C