信息与信道演示文件修改版.ppt

第三章 信息与信道 3.1 信息论 3.2 信息的度量 3.3 信道与噪声 3．1 信息论 1．信息论基础 2．一般信息论 3．广义信息论 1．信息论基础 1948年，美国工程师香农发表了长篇论文《通信的数学理论》，论文以概率论为工具，系统地讨论了通信工程中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而奠定了信息论的基础。香农也被后人尊称为“信息论之父”。 香农信息论也称狭义信息论，主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的有香农三定理以及信源和信道编码。 2．一般信息论 一般信息论主要研究信息的传输和处理问题。除了香农的基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估值理论、调制理论。美国科学家维纳（N. Wiener）是这个领域的另一个代表人物。 虽然维纳和香农等人都是运用概率和统计数学的方法，研究准确或者近似再现消息的，但香农的研究对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码；而维纳的研究重点在接收端，研究如何在消息受到干扰的情况下（事实上这无可避免），在接收端将它从干扰中提取出来。 3．广义信息论 广义信息论是一门综合性的新兴学科，至今没有严格定义，它将研究从自然科学领域扩展到经济学和社会科学领域。任何系统，如神经传导系统、市场销售系统，只要能够抽象成通信系统模型，都可以用信息论进行研究。 总的来说，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用及信息量的大小等一般规律，以及实现手段的工程学科，都属于广义信息论的范畴。 3.2 信息的度量 信息论是在信息可以度量的前提下，研究有效、可靠、安全地传递信息的科学。可见信息的可度量性是建立信息论的基础。衡量信息多少的物理量叫做信息量。 3.2.1 信息量 在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息含有更多的信息。例如一方告诉另一方两件事：“夏天很闷热，她穿着丝质短袖”和“夏天很闷热，她倒穿上了大棉袄”，后一消息所包含的信息量感觉起来比前者要多些。因为在接收者看来，前一件事很可能发生，不足为奇，后一件事倒有些稀奇，听后让人感到意外。 信息度量的方法有若干种，其中最常用的是统计度量。 概率论告诉我们：事件出现的可能性越小，概率就越小，可能性越大，概率也越大。消息所携带的信息量，与它所描述的事件出现的概率密切相关。事件发生的概率越小，消息中包含的信息量就越大，反之信息量就越小。如果事件是必然的（概率为1），则消息传递的信息量应为零。因此，信息量应该是事件发生概率的单调递减函数。 对由有限个符号组成的离散信源来说，随着消息长度的增加，可能出现的消息数目是呈指数增加的。 如果收到的不是一个消息，而是若干个相互独立的消息，那么总的信息量应该是每个消息的信息量之和，这意味着信息量还应满足相加性的条件。 对信息量作如下定义可满足以上三方面的考虑：若一个消息 （或其描述的事件）出现的概率为 ，则这一消息所含的信息量为 式（3.1）中对数的底 取2时，信息量的单位为比特（bit，b），这是目前应用最广泛的单位； 取 e即为自然对数时，信息量的单位为奈特（nat）； 取10时，信息量的单位为迪特（Det）或哈特（Hart，Hartley）。 设离散信息源是一个由个 符号组成的集合，称符号集。符号集中的每一个符号 在消息中按一定概率 独立出现，表示为： 若把一个字符看作一个最短的消息，则根据 ，可知符号 所包含的信息量分是 比特。 特别地，若 个符号出现的概率相等，即每个符号出现的概率都为 ，则每个符号携带的信息量为： 当 ，即二进制信源时，每个二进制符号（通常表示为0、1）携带的信息量是1 。 【例3-1】 一信息源由4个符号A、B、C、D组成，它们出现的概率分别是1/4、3/8、1/8、1/4，且每个符号的出现都是独立的。试求某个消息“ABACDDACCCDBBBDCDABCDAADCBC”的信息量。 解 符号A、B、C、D携带的信息量分别为： 消息总共有28个符号，其中A出现7次，B出现6次，C出现8次，D出现7次。因此上述消息携带的总信息量为： 3.2.2 平均信息量和信源熵 由例3-1可知，当消息很长时，用符号出现的概率和次数来计算消息的信息量是比较麻烦的。引入单个符号的平均信息量会方便许多。 平均信息量是指每个符号所含信息量的统计平均值。 种符号的平均信