现代通信及香农三大定理.pdfVIP

现代通信与香农三大定理 :杨伟章学号：4 摘要：当我们提起信息论，就不得不把香衣和信息论朕系在一起，因为正是香农 为通信理论的发展所做岀的则时代硫献，宣告了一门崭新的学科一信息论 的理生。从 此，在香农信息论的指导下，为了提高通信系貌信息传输的有效性和 可靠性，人们在 信源编胡和信道编码两个領域进行了卓有成效的研究，取得了丰 硕的成果。其实，信 息论是人们在长期通信实裁活动中，由通信技术与IK 率论、 I®机U 程、等学科相 结合而逐步发展起来的一门新兴交叉学科。 关谜词：信息论基础 现代通信系貌 香农三大定理 上个世纪E1 十年代，半导休三枚管还未发明，电子it 算机也尚在襁褓之中。但 是通信技术已经有了相肖的发展。从十九世纪巾叶，电报就已经很普遍了。电报所用 的摩斯码(Morse Code ),就是通信技术的一项杰作。摩斯码用自和缆(不 同长度的电 脉冲)来代表字母，而用空胳来代表字骨的边界。但是毎个字骨的码 不是一样长的。 常用的字骨E 只有一个点。而不常用的Z 有两划两点。这样，在 传送英语时，平均 毎f 字母的侶数就城少了。事实上，摩斯侶与规代理论指导下的编侶相比，传送速度 只差15% 这在一百五十乡年前，是相当了不起了。 o 在二次世界大战时，密这和无线电在军事上广泛应用。无线电受各种蝶声的 干 扰很厉害，这也给通爪技术提出了新的课題。各种不同的坍制方式也纷纷同世。于是 就岀现了这样一个IO： 给定信道条件，有没有最好的调制方式，来达到最 高的传送 速率？ “传输速率是波特率与每波特所含比特数的乘枳。波特率受颛宽的限制,而 每波 考试资料 特所含比特数受凜声的限制。”前一个限制,由那奎斯特(Harry Nyquist)在 1928 年漂 亮地解决了。而后一个冋題则更夏杂o1928 年，盼特利 R.V.L. Hartley ) 首先提岀了( 信息量的IM 念，并指出编侶(如摩斯胡)在提高传送速度中的重要作 用。但是他未能 完整定量地解决InJSo 二故期间，维纳(Norbert Wiener)发 展了在接收器上对付噪声 的最优方法。但是传输速率的上限还是没有进展。 在这种悄况下,香农(Claude EShannon )在1948 年发表了《通信的一个数 学 理论》(C. E. Shannon, A Mathematical Theory of Communication”, The Bell System Technical Journal, Vol. 27, pp. 379-423,1948 cm.bell- labs./cm/ms/what/shannonday/shannon1948.pdf),完整地解决了 通讯速 H 上 限的 问题。“信息论” (Information Science) Hitt® 生。 要建立信息理论，首先要能够贋量信息。信息是由信号传播的。但是信息与 信 号有本质的区别。所以如何度量一个信号源的信息量,就不是简单的rOo 从 直觉上 说，如果一个信号源发出不变的符号值(比如总是1),它是没有信息量 的，因为它没 有告诉别人任何东西。而且如果信号源发出的符号值是变化的但是 可HRit 的(比血 冏周率的数字序列)，期也是没有信息量的，因为我不需要接 受任何东西，就可以 把这些符号值重复出来。而且，即使信号源发岀的符号不是 完全可确定的，它的信 息量也和“确定”的程度有关。例如，如果一个地方90%的 时候是睛天，气象报告 就没有名大用处。而如果50%的时候是睛天其余时候下甬， 人们就需要气象报告 了。 从这点出发,香衣就把信息量与信号源的不确定性，也就是各个可能的符号 值 的几率分布朕系起来。他从直现上给岀了信息量需要满足的几个简单的数学性 质 (如连续性，单调性等)，而给岀了一个唯一可能的表这形式。 考试资料 期么这样定义的信息量与我们通常所说的数据量，也就是需要名少比特来传 送 数据，有什么关系昵？（比特就是二进制数据的fin ）o为此，我们来看看一 个含有 固定符号数的序列（也就是信号或码字）。由于毎个符号值的岀现是师机的，这样的 序列就有很名可能性。显