信息论与编码基础：从Shannon理论到现代通信应用.pdfVIP

参考译文

第6章信息论与编码

6.1信源编码

6.1.1信息论简介

今天，我们信息时代，因特网(Internet)已经成为我们生活中不可缺少的一部分，

这使得系第三大行星成为一个地球村。人们通过交谈已经是一件很平常的事。

可以以DVD碟片的形式租回家欣赏。名片上印上电子邮箱和也很正常。许多人更愿意

给朋友发送电子邮件和电子贺卡而不去发普通信件。行情也可以通过来査看。

信息已成为成功的关键(它一直是成功的关键，但在的世界上它是最关键的)。在

所有这些信息的背后，信息的交换却依靠小小的1和0(即无所不在的比特)，通过它们一

个接一个地排在一起来表达信息。我们今天所生活的信息时代的存在主要归功于于

1948年的一篇精辟的，这篇为奇妙的信息论奠定了基础。信息论的创始人是

师ClaudeE.Shannon,他在在BellsystemtechnicalJournal(1948)中的The

MathematicalTheoryofCommunication(通信的数学理论)中阐述了自己的思想。广义地说，

信息包括一切通信的内容，如电报、、无线电、电视以及来自电子计算机、

伺服机械装置系统和其他数据处理器件的信号。该理论甚至适用于和其他动物神经网

络的信号。

信息论最关注的是发现为通信和处理信息而设计的控制系统中存在的数学定律。它通

过建立量化指标来度量信息以及不同系统在传输、和处理信息时的容量。有些要解决

的问题与发现使用各种已有通信系统的方法相关，也和将有用的信息或信号同无用的

信息或噪声分开的方法有关。另一个问题就是对给定的信息载体(通常称为信道)给出

容量上界。尽管对那些结果感的主要是通信工程师，但有些概念也已被诸如心理学和

语言学等领域采用并且被验证很有用。

信息论的界限非常模糊。这种理论与通信理论有很大的，但它主要面向信息处理

和通信方面的基本界限，而较少涉及所用元器件的详细运作情况。

6.1.2不确定性和信息

任何信源，不管是模拟的还是数字的，都会产生本质上随机的输出。假若不是随机，

即能准确地确定其输出，那么就没必要传输它！信源存在模拟信源和离散信源两种。人们

一个模拟世界里，多数信源都是模拟信源，例如语音、温度波动等。离散信源都是

人造的信源，例如从有限字母集中产生一连串字母(如写电子邮件)的信源(如人)。

在进一步介绍信息的数学度量方法之前，下面先给出直观的度量。阅读下面的句子。

(1)明天将从东方。

(2)一小时后会响。

(3)今年冬天德里将下雪。

这3个句子含有不同的信息量。上，第一个句子几乎不含任何信息，因为每个人

都知道从东方，也就是说这件事再次发生的概率几乎为1(N.Bohr说道：“作

是有风险的，特别是在涉及将来的时候。”)。第二个句子看起来比第一个句子包含的信息

多，因为可能响，也可能不响。在一小时后响的概率是有限值(除非在维修)。最

后一个句子可能要读两遍，因为德里从来没下过雪，因此德里下雪的概率非常低。有趣的

是，上述句子所携带的信息量与句子中所陈述的发生的概率有关，而且也可以观察到

相反的关系。第一个句子讲的是发生概率几乎为1的