信息论、编码与密码学.pdf

第一部分 信息论和信源编码 第1章 信源编码 并不是我们注意到的每一件事都重要，也不是每一件重要的事我们都注意到了。 爱因斯坦（1879—1955） 1.1 信息论简介 今天，我们生活在信息时代。因特网（Internet ）已经成为我们生活中不可缺少的一部分， 这使得太阳系第三大行星成为一个地球村。人们通过手机交谈已经是一件很平常的事。电影 可以以DVD碟片的形式租回家欣赏。名片上印上电子邮箱和网址也很正常。许多人宁愿给朋 友发送电子邮件和电子贺卡而不去发普通信件。股票行情也可以通过手机来查看。 信息已成为成功的关键（它一直是成功的关键之一，但在今天的世界上它是最关键的）。在 所有这些信息的背后，信息的交换却依靠小小的1和0 （即无所不在的比特），通过它们一个接一 个地排在一起来表达信息。我们今天所生活的信息时代的存在主要归功于发表于1948年的一篇 精辟的论文，这篇论文为奇妙的信息论奠定了基础。信息论的创始人是美国电子工程师Claude E. Shannon ，他在发表于Bell System Technical Journal （1948）的论文“The Mathematical Theory of Communication ”（通信的数学理论）中阐述了自己的思想。广义地说，信息包括一切标准通 信媒体的内容，如电报、电话、无线电、电视以及来自电子计算机、伺服机械装置系统和其他 数据处理器件的信号。该理论甚至可应用于人体和其他动物神经网络的信号。 信息论最关注的是发现能描述为通信和处理信息而设计的控制系统的数学定律。它建立 量化指标来度量信息以及不同系统在传输、储存和处理信息时的容量。有些要解决的问题与 发现最好的使用各种已有通信系统的方法相关，也和最好的将有用的信息或信号同无用的信 息或噪声分开的方法有关。另一个问题就是对给定的信息载体（通常称为信道）给出容量上 界。尽管主要是通信工程师对那些结果感兴趣，但有些概念已被诸如心理学和语言学等领域 采用并发现它们很有用。 信息论的界限非常模糊。这种理论与通信理论有很大的重叠部分，但它主要面向信息处 理和通信方面的基本限制，而较少涉及所用元器件的详细运作情况。 本章，我们将首先阐述对信息的直观理解。然后用数学模型来描述信息源以及对信息源 所发出的信息的量化度量。然后我们将陈述并证明信源编码定理。有了基本的数学框架之后， 我们将介绍四种信源编码技术，即Huffman 编码、Shannon-Fano-Elias 编码、算术 （Arithmetic ）编码和Lempel-Ziv编码。本章还将讨论游程编码 （Run Length Encoding ）、率失 真函数 （Rate Distortion Function ）和优化量化器 （Optimum Quantizer ）。为了说明相关的随 机变量，我们将学习随机过程的熵率。本章后面介绍图像压缩，它是信源编码的一个重要应 用领域。特别是，我们将简单讨论JPEG （Joint Photographic Experts Group ）标准。 2 第一部分　信息论和信源编码 1.2 不确定性和信息 任何信源，不管是模拟的还是数字的，都产生本质上随机的输出。假若不是随机，即我 们能准确地知道其输出，那么就没必要传输它！信源存在模拟信源和离散信源两种。我们生 活在一个模拟世界里，多数信源都是模拟信源，例如语音、温度波动等。离散信源都是人造 的信源，例如从有限字母集中产生一连串字母（如，写电子邮件）的信源（如，人）。 在进一步介绍信息的数学度量之前，让我们先找一下直观感觉。请阅读下面的句子： （1）明天太阳将从东边升起。 （2 ）在一小时后电话会响。 （3 ）今年冬天德里将下雪。 这三个句子带有不同量的信息。事实上，第一个句子几乎带不来任何信息，因为每个人 都知道太阳从东边升起，也就是说这件事再次发生的概率几乎为1 （N. Bohr 说道：“作预言是 有风险的，特别是在涉及将来的时候。”）。第二个句子看来比第一个句子带来更多的信息，因 为电话可能响，也可能不响。电话在一小时后响的概率是有限的（除非维修人员又在工作！）。 最后一个句子你可能要读两遍，因为德里从来没