香农信息论中译版.pdfVIP

通信的数学理论 克劳德•香农著1 近年来的多种调制方法，例如 PCM (脉冲编码调制）和 PPM (脉冲相位调制），它们都是通过带宽和 信噪比之间的交换 ，增加了人们对通信普遍理论的兴趣。在奈奎斯特和哈特莱有关这方面的重要文献奠定 了该理论。在本文中，我们将推广该理论 ，使它含有一些新的因素，特别是信道中噪声的影响，和利用原始 消息的统计结构和最终受信者的性质来改善通信的可能性。 通信的基本问题是在一端精确地或者近似地复现 另一端选择的消息，通常这些消息是有意义的。那就 是说 它们按照某一系统与特定的物质或概念的实体相互联系。通信的语义方面与工程问题是没有关系的， 重要的方面是一个实际消息是从一组 可能的消息集里面选择 出来的，系统必须被设计 成对所有可能的选择 都能工作，而不是只适合工作于某一种选择 ，因为 在设计时这是不知道的。 如果集合中消息的数目是有限的，则这个数目或这个数目的单调函数 能被用来作为当一个消息被选 出 时所产生信息的度量，所有选择都是等概率的，正如哈特莱指出的，最自然的选择是取对数函数。肃然当我 们考虑到消息统计特性的影响和当我们有一组连续的消息，这一定义必须 大大的推广。但是我们 在所有的 情况下采用本质的对数度量。 对数度量更方便是因为有以下几个原因： 1. 实用性。工程上的重要参量，如时间，带宽 ，中继器的数目等，都趋 于随可能数目的对数关系作线性 变化。例如，在一组中继器中增加一个中继器则 可能的状态就增加1 倍。这个数目以2 为底的对数 加1 ， 时间加倍使得消息的数目成平方增加或是数目对数的2 倍。 2. 相对 于合适的度量，对数更直观。这与 （1 ) 密切相关 ，因为我们用与普通标准进行线性比较的方 法来直观 地测量事物。例如，我们感觉两张凿 孔卡应该具有两倍于一张凿 孔卡的信息量，两个完全相同的信 道信息容量是一个信道的一倍。 3. 它在数学上更合适。很多极限运算在对数方面要简单的多，但如果用可能性的数目那就要求笨拙的重 述。 对 于对数基底的选择与信息度量的单位选择相一致。当基底是2 时 ，所得到的单位可称为 比特，这个 字由TU K EY 建议的，一个双稳态设备，如中继器或者触发器，能存储一个二进制单位的信息， N 个双稳 态设备就可以存储N 比特，因为 可能状态 的总 数为 ，而log2 = iV 。如果取基底为 10，则单位被称 为十进制。因为 log2 M = log 10 M / log 10 2 = 3.32 log 10 M 故一个十进制单位约为个二进制单位。一架台式计算机有十个稳定状态 ，因此有一个十进制单位的 信息存储量。在含有积分和微分的分析计算中，有时候取基底e , 所以所得的单位叫自然单位，把基底a 换 1陈 国 伟 、朱 瀚 敏 、隋燕 、徐 孝 芳 译 ，应 必 娣 校 ，浙 江 工 商 大 学 信 电 学 院 ，浙 江 工 商 大 学 研 究 生 培 养 课 题 课（ 外 同时 培 养 多 种 能 力 的 模 式 ）资 助 . 1 为基底b 仅仅需要乘以loga 6就可以。 通信系统可以用图1表示，它包含五个基本部分: 图 1: 一般通信系统的示意图 1.信息源。它产生将要传输给接收端的消息或消息序列。消息可以有各种类型： （a ) 在电报通信系 统中的一系列字母。 （b ) 如电话或无线电中的单独时间函数f (t ) 。 （c ) 如黑白电视中的时间函数和其它 变量，在 这里，消息可以看成是二维空间和时间函数f (x y，t，) , 即在 t 时刻 摄像管上 （x，y ) 点的光。 （d ) 两个或更多个时间函数f (t ) : g (t ) : h (t ) 。例如在彩色电视中消息是由三个所谓的三维连续函数f (x y，t，) : g (x y，t，) ，h (x y，t，) ，组 成的，我们 可以把这 三个函数定义为 在这个区域上的矢量场的分量。同祥，几个黑 白电视源可以产生由几个三变量的函数所组 成的消息。（f )各种情况的组合，例如在电视中配有声音信道。 2. 发送机。它是采用某种方法