《信息与熵》.pdf

前言 这些笔记和相关的大学一年级课程是关于信息的。尽管你对信息是什么可能有一个大致 的概念，也可能遇到过准确的和不准确的信息，但你也许不知道你遇到的信息可以被量化。 是的，没错，在很多情形下你可以度量信息量并给出信息如何发挥作用的普遍原理。我们将 会考虑在计算和通信方面的应用，还会涉及到理工科其他领域的普遍原理。 热力学第二定律就是这些普遍原理中的一个。尽管热力学，物理学的一个分支，涉及的 是物理系统，而在此我们认为第二定律是自然系统和工程化系统中信息处理的一个例子。第 二定律也许是科学界最辉煌的成就之一，但从传统上讲，我们很难通过诸如理想气体这样的 物理系统和模型简单地理解它。另一方面，特别是在信息革命发生的今天，应用于计算和通 信的第二定律的形式更容易被理解。 在热力学环境下，一类典型的信息就是“熵”。所以，讲义的题目叫做“信息与熵”。 本讲义和基于它们的课程为大学一年级学生设置。尽管开发这门课程的麻省理工学院以 理工科见常，并需要学生学习一学年的微积分，但讲义中用到微积分的地方并不多。大多数 例子取自离散系统，而不是连续系统，这样就可以用和与差代替积分和微分。因此本课程对 非理工科学生同样适用。事实上，本课程结合了一个与能量相似的概念，可以为文科专业提 供非常好的理科背景。 信息和能量之间的相似之处非常