信息论与编码 曹雪虹 (1).pdfVIP

前 言 当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人 才，而《信息论与编码》是这些专业的基础课，必须掌握，它可以指导理论研究 和工程应用。 由于《信息论与编码》这门课本身理论性很强，介绍的内容是信息论基础 和编码理论现，有的一些教材除了介绍理论和公式外，都用了大量篇幅来证明 这些理论和公式，这些用作研究生教材是比较适合的。 而作为电子、信息、通信工程的本科生及相关专业的工程技术人员，在于 他们理论基础的不足以及实际应用的需要，不可能花很多精力去研读那些在 他们看来是非常难懂而枯燥乏味的证明，迫切需要一本介绍有关信息理论的 基本知识且与实际应用紧密联系的书籍，本书就是出于这样的目的而写。 本书注重基本概念，用较通俗的文字解释其物理意义，辅以一定的例题和 图示说明，不再用繁杂的公式来证明这些早已是非常成熟的公理。联系当前 实际通信技术来讲述，使读者研读本书 后概念清晰，有目标地应用在实际工作 中。 本书共6 章，由曹雪虹主编。第5 章由张宗橙编写，其余各章由曹雪虹编 写。在编写过程中，得到了徐澄圻教授和胡建彰教授的大力帮助，在此表示衷 心感谢。 限于编者的水平，书中不妥或谬误之处难免，殷切希望读者指正。 编 者 2001 年6 月 m 录 第 i 章 绪 论 1• i . i 信息论的形成和发展 .1 1 . 2 通信系统的模型 * 3 第 2 章 倍 源 及 倍 源 熵 •6 2 . 1 信源的描述和分类 •6 2 . 2 离散信源熵和互信息 _ 7 2 .2 .1 自信息量 _ 7 2 .2 .2 离散信源熵 _ 8 2 . 2 . 3 互信息 10 2 . 2 . 4 数据处理中信息的变化… 12 2 . 2 . 5 熵的性质 13 2 . 3 连续信源的熵和互信息 15 2.3.. 1 连续信源熵 15 2 . 3 . 2 最大熵定理 17 2 . 4 离散序列信源的熵 18