第三堂课信息的统计理论.pdf

第三堂课 信息的统计理论 摘要：  信息理论：概率论部分。严格逻辑和概率论逻辑的关系。凯恩斯对于概率论的理解。举 例说明逻辑与严格的经典力学以及统计力学之间的关系。量子力学中的相应情况。  从数学角度看待严格逻辑向统计逻辑的转变。分析和组合论。  热力学的角度：信息和熵。  西拉德（Szilard）的理论。  香农的信息论。  叙述计算机的内部平衡的热力学性质。 一、自动机的鲁棒性 到此，关于信息的严格问题讨论已经告一段落，我们将继续从统计角度来讨论信息的本 质。至少有两个原因可以说明统计和概率问题对于自动机和其功能实现是十分重要的：第一 个原因可能显得有些任意且离题，虽然我并不这样认为。第二个原因则更加重要，下面我分 别加以说明。 第一个原因是：实际上我们无法设想一台绝对可靠的自动机。假如你设计了一台自动机， 并且严格地定义了它在任何情景下的全部行为。那么你一定忽略了问题的某些重要方面。如 果你是一个新手，那么设计一台可以运行在完全确定环境下的自动机是一种很好的练习。但 是只要稍具实际经验，我们就会知道这一步还仅是问题的最初阶段。 我们必须考虑统计因素的第二个原因是：如果你观察一台人造的，或者存在于自然界中 的自动机，你会发现那些被严格程序所控制的仅仅是一些细节结构。大部分的控制是以一种 允许错误，并且在错误发生时候采取补救措施（多少有效）的方式来实现的。而且，说它们 能够预防失误还有些夸大，因为这种机制其实根本就不可能消除所有错误，而是实现了一种 发生个别的失误根本无关紧要的容错状态。在这种机制下，无论是错误还是失误带来的后果， 都不能被彻底消除。我们可以努力去做到的事情，就是设计一台自动机，让它在遇到通常错 误后仍然可以照常工作。这种设计的目的是减小错误的影响，而不是去消除错误。实际上， 大多数常见自动机的构造和设计思想，都是属于这类容错型的。 为了允许错误作为一种独立的逻辑对象存在，我们不应该再以严格的方式表述公理，也 就是说，公理不应该写成：“如果A 和B 发生，C 就会发生”这样的形式；而是“如果A 和 B 发生，一定的概率下C 会发生，也有一定的概率D 会发生，等等”的形式。换句话说， 每种给定情况下，都会有不同的结果，各自以不同的概率发生。从数学上说，我们可以简单 地写出一个概率矩阵，说明各种状态之间发生转换的对应概率为何。你可以把问题写成这样 “如果A 和B 已经发生，接下去发生C 的概率有多大？”。这个概率矩阵就给出了一套以 概率表示的逻辑系统。无论人工还是自然自动机，只要牵涉概率，都应该放到这个框架下研 究【原可参见冯纽曼的论文：《概然逻辑：用不可靠的元件组装可靠的系统（Probabilistic Logics and the Synthesis of Reliable Organs from Unreliable Components ）》】。我接下来会谈到为何遇 到复杂系统时候，我们就必须放弃严格逻辑而改用概然逻辑系统的原因【假如单个元件出故 障的概率固定，那么自动机越是复杂系统崩溃的可能性也越大】 二、概率作为逻辑的扩展 上述原因使我们不得不把概率逻辑看作一般意义上的严格逻辑的一种扩展。这种把概率 本身看作是逻辑的一种扩展的做法既非显而易见，也不为科学界所广泛接受，同时也远离了 对概率的主流解释，但它却正是概率的经典解释之一。与此相对的是概率的频率解释，即认 为逻辑本身是绝对严格的，但对一个我们不完全了解的现象，我们只能用出现频率大小来描 述之。 我认为，这两种解释的区别，至少在拉普拉斯看来，是十分清楚的，他曾指出存在两种 不同的方式来看待概率：频率和逻辑方式【《A philosophical Essay on Probabilities 》】。在近代， 经济学家凯恩斯也曾撰述概率方面的论文 【《A Treatise on Probability》】，强调了两者之间的 区别，并以此作为他的理论基础。凯恩斯相当详细地分析了概率问题，并说明了除了传统的 频率解释以外，还可从逻辑的角度来解释概率。但他并没有试图把严格逻辑和概率区分开来， 仅仅提到，如果你观察一个事件A 和B 的序列，这个序列可以用一个具体的量“B 紧跟着 A 发生的概率”来刻画。这里同严格逻辑的唯一联系之处就是如果此概率等于1，你可以说 A 导致B 的蕴涵关系，如果概率是0，那么A 的发生就排除了B 的发生。但是，当这个概