信息论基础 石峰, 莫忠息.pdf

前 言 随着科学技术的迅速发展、知识体系的不断更新，信息的概念已在自 然科学、人文与社会科学中被广泛地采用，信息理论越来越受到人们的重 视。实际上，我们目前所处的时代早已被称为信息时代。香农信息理论， 是一个业已成熟的科学体系，是研究信息理论的基础。 长期以来，信息论的教材均是为通信工程或概率统计等专业的学生而 编写的，需要读者具有较多的相关专业的知识。为使其他专业的学生能尽 早掌握信息理论的基本原理和方法，也使信息论的思想、原理和方法在更 为广泛的范围内得到推广和应用，本书尽量用较少的概率统计知识和通信 工程知识，尽可能以离散的情形来讨论有关问题。 本教材着重介绍香农信息理论的基本概念、基本分析方法和主要结 论，同时，还介绍组合信息和算法信息知识。 由于香农 （ ＣｌａｕｄｅＳｈａｎ ）提出的信息论是一种基于统计意义上的信息理论，这一理论对通信 ｎｏｎ 技术的发展产生了持久而又深刻的影响，但它对信息技术的其他某些方 面，如人工智能、机器学习等，则指导作用很少，所以人们对更为广泛意 义下的信息的研究一直没有停止。到目前为止，较为成熟的研究成果有： 在 年提出的最大熵原理的理论； Ｅ．Ｔ．Ｊａ ｎｅｓ １９５７ Ｓ．Ｅ．Ｋ．Ｋｕｌｌｂａｃｋ ｙ 在 年首次提出后又被 等人发展了的鉴别信息和最小鉴 １９５９ Ｊ．Ｓ．Ｓｈｏｒｅ 别信息原理的理论； 在 年提出的关于信息度量 Ａ．Ｎ．Ｋｏｌｍｏ ｏｒｏｖ １９６５ ｇ 定义的三种方法——— 概率法、组合法和计算法；Ａ．Ｎ．Ｋｏｌｍｏ ｏｒｏｖ于 ｇ 年阐明并被 在 年系统发展了的关于算法信息的理 １９６８ Ｊ．Ｃｈａｉｔｉｎ １９８７ 论。这些成果大大丰富了信息理论的概念、方法和应用范围。首先，它把 信息的统计定义进一步推广并对非统计意义下的信息给出了一种度量。其 次，信息度量的意义已不再局限于信源编码和信道编码，而是已经系统地 发展成为信息处理的一种准则，如最大熵原理和最小鉴别信息原理在目前 的估计理论中占据着重要的地位。基于此，本书对这些基本概念和成果也 作了较为详细的介绍。 传统的信息论包含三个方面：信息论基础、编码理论、密码理论。 由 １ 前 言 信·息·论·基·础 于信息论的基本原理和方法与编码理论息息相关，我们在介绍信息理论的 基本知识时，处处涉及编码理论，虽然在第 章的最后提到了重复码和 ５ Ｈａｍｍｉｎ 码，但那仅仅只是为了加深读者对有关编码的感性认识，在第 ｇ 章我们专门对较为成熟的线性码作了简单而又系统的介绍。 由于现代密 ６ 码学是基于信息理论的，所以我们对密码学作了一点介绍。 全书共分 章。第 章主要介绍香农信息理论的基本概念、基本内 １０ １ 容、发展简史以及通信系统模型。第 章讨论信源的特点和分类，信息的 ２ 度量，以及信息熵、条件熵、联合熵等。第 章介绍互信息。第 章主要