通信的数学理论shannon.pdfVIP

通信的数学理论 近年来像PCM 和PPM 这些交换信号噪音比带宽等的多种调制方法的发展已经增强了 我们对一般通信理论的兴趣。这种理论的基础包括在重要的报纸Nyquist1 and Hartley2 中 关于此学科的内容。在当今的报纸中我们将延伸这种理论从而包括许多新的因素，特别是噪 声通道的影响，和存储可能的基于最初信息统计的结构和基于数据的最后目的性性质。 通信的基本问题是再制造一点或者准确地或者近似地一个从别处挑选的信息。通常信 息有意义；那是他们提到的或是依照一些特定物质或概念上实体的系统的相互关联。这些与 语意有关的通信方面是不切题的工程问题。重要的方面是真实的信息是从一组可能的信息挑 选来的。系统一定要有计划的操作每个可能的选择, 而不仅仅是哪一个因为在设计的时候是 未知者将会被选择。 如果设备的信息数目是有限的,那么这组数字或一些具有单调功能的数字可以被当做对 信息被关闭后再创造的测度, 所有的选择有相同的可能。像Hartley 所指出的,最自然的选择 是对数的功能。虽然当我们考虑统计信息的影响力以及对信息的持续排列这个定义必须被凝 练地概括，我们将在所有情况下用一个本质为对数的量度标准。 对数的测度更方便，主要有以下多方面的理由: 1. 它在实践上更有用。工程的重要参数，像时间、带宽、数字的分程传递等等，趋向 于随可能数字的对数线性改变。举例来说,增加一个继电器到小组会加倍数字的可 能情形。它加1 到以2 为底的对数。加倍时间大致得到可能信息数目的平方,或加 倍其对数,等等。 2. 它以适当的尺寸接近我们的直觉感观。如果我们直觉地用共同的标准线性比较测量 实体，它将接近相关到(1)。有一个想法,举例来说,二张穿孔卡片与一张相比有两倍 的信息储藏能力,并且二个通道与一个相比有两倍的传输数据的能力。 3.它在数学方面更合适。许多极限运算在对数方式下很简单，但是在普通数字下却需 要笨拙的重述。对数底的选择对应测量信息单位的选择。如果以2 为底，产生的单位 可以叫二进位数字,或比较简要地叫比特,一个由 J.W.Tukey 建议的词。一个拥有两个 稳定位置的设备,像一个继电器或一个双稳态多谐振荡器,可以存储一比特的信息。N 个如此的装置能存储N 比特的信息，因为可能情形的总数是log a b 。 信息来源 传达者 接受者 目的地 信号 接收信号 信息 干扰源 图1—一个常规信息系统原理图 并且 N 。如果以 10 为底产生的单位可以叫十进制数字。因为 l o g 2 N 2 log M log M / log 2 3.32log M 。 2 10 10 10 1Nyquist ，“某些影响通报速度的因素”贝尔系统科技刊物，1924 年4 月，第324 页；“电报传输 理论中某些总联机程序和信息控制系统”， A.I.E.E. Trans.v.47, 1924 年4 月，第617 页。 2 Hartley, R. V. L ，“信息传输”， 贝尔系统科技刊物，1928 年7 月，第535 页。 1 一个十进制数大约 比特。书桌上的一个阿拉伯数字计数器有十个稳定的位置并且因 3 3