通信的数学理论.pdf

通信的数学理论 通信的数学理论 克劳德 ·香农著 克劳德 ·香农著 PCM( ) PPM( ) PCM( ) PPM( ) 近年来的多种调制方法，例如 脉冲编码调制 和 脉冲相位调制 ，它们都是通过带 近年来的多种调制方法，例如 脉冲编码调制 和 脉冲相位调制 ，它们都是通过带 宽和信噪比之间的交换，增加了人们对通信普遍理论的兴趣。在奈奎斯特和哈特莱有关这方 宽和信噪比之间的交换，增加了人们对通信普遍理论的兴趣。在奈奎斯特和哈特莱有关这方 面的重要文献奠定了该理论。在本文中，我们将推广该理论，使它含有一些新的因素，特别 面的重要文献奠定了该理论。在本文中，我们将推广该理论，使它含有一些新的因素，特别 是信道中噪声的影响，和利用原始消息的统计结构和最终受信者的性质来改善通信的可能 是信道中噪声的影响，和利用原始消息的统计结构和最终受信者的性质来改善通信的可能 性。 性。 通信的基本间题是在一端精确地或者近似地复现另一端选择的消息，通常这些消息是有 通信的基本间题是在一端精确地或者近似地复现另一端选择的消息，通常这些消息是有 意义的。那就是说它们按照某一系统与特定的物质或概念的实体相互联系。通信的语义方面 意义的。那就是说它们按照某一系统与特定的物质或概念的实体相互联系。通信的语义方面 与工程间题是没有关系的，重要的方面是一个实际消息是从一组可能的消息集里面选择出来 与工程间题是没有关系的，重要的方面是一个实际消息是从一组可能的消息集里面选择出来 的，系统必须被设计成对所有可能的选择都能工作，而不是只适合工作于某一种选择，因为 的，系统必须被设计成对所有可能的选择都能工作，而不是只适合工作于某一种选择，因为 在设计时这是不知道的。 在设计时这是不知道的。 如果集合中消息的数 目是有限的，则这个数 目或这个数 目的单调函数能被用来作为当一 如果集合中消息的数 目是有限的，则这个数 目或这个数 目的单调函数能被用来作为当一 个消息被选出时所产生信息的度量，所有选择都是等概率的，正如哈特莱指出的，最自然的 个消息被选出时所产生信息的度量，所有选择都是等概率的，正如哈特莱指出的，最自然的 选择是取对数函数。肃然当我们考虑到消息统计特性的影响和当我们有一组连续的消息，这 选择是取对数函数。肃然当我们考虑到消息统计特性的影响和当我们有一组连续的消息，这 一定义必须大大的推广。但是我们在所有的情况下采用本质的对数度量。 一定义必须大大的推广。但是我们在所有的情况下采用本质的对数度量。 ;  对数度量更方便是因为有以下几个原因;  对数度量更方便是因为有以下几个原因 1. 1. 实用性。工程上的重要参量，如时间，带宽，中继器的数 目等，都趋于随可能数 目 实用性。工程上的重要参量，如时间，带宽，中继器的数 目等，都趋于随可能数 目 的对数关系作线性变化。例如，在一组中继器中增加一个中继器则可能的状态就增 的对数关系作线性变化。例如，在一组中继器中增加一个中继器则可能的状态就增 1 2 1, 1 2 1, 加 倍。这个数 目以 为底的对数加 时间加倍使得消息的数 目成平方增加或是数 加 倍。这个数 目以 为底的对数加 时间加倍使得消息的数 目成平方增加或是数 2 2 目对数的 倍。 目对数的 倍。 2. (1) 2. 相对于合适的度量，对数更直观。这与(1)密切相关，因为我们用与普通标准进行线 相对于合适的度量，对数更直观。这与