[理学]信息论与编码课件.pdf

第 2 章 信息的度量 第 2 章 信息的度量 在理解信息论的研究对象和目的后，我们将从有效而可靠的传输信息的观点出发，分 别对信息传输系统的各个组成部分进行讨论。 本章首先讨论离散信源的统计特性和数学模型，给出自信息的表达式及离散信源的信 息熵，并研究信息熵的基本性质；然后分析离散信源序列的熵，连续信源的互信息和微分 熵；最后讨论信源的相关性和剩余度。这部分内容是香农信息理论的基础。 2.1 信源的数学模型及分类 由于信源是消息的来源，所以需要通过消息来研究信源。在这里，对信源的内部结构、 为什么产生和怎样产生各种不同的消息都不进行研究，而只研究信源的输出，以及信源输 出各种可能消息的不确定性。 通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，可用随机变 量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度 ——概率空间来描述信源。 不同的信源输出的消息不同，可以根据消息的不同随机性质来对信源进行分类，具体 如下。 2.1.1 信源输出的消息由随机变量描述 在实际情况中，有些信源可能输出的消息数据是有限的或可数的，而且每次只输出其 中一个消息，如计算机的代码、电报符号、阿拉伯数字等。 若掷一颗均匀的骰子，分析研究其下落后，朝上一面的点数。每次实验结果必然是 1 点、2 点、3 点、4 点、5 点、6 点中的一个面朝上。其输出的消息是“朝上一面是 1 点”、 “朝上一面是2 点”、……、“朝上一面是 6 点”等六个不同的消息。在每次实验中，出现 哪一种消息都是随机的，但是一定出现这六个消息中的某一个消息。这六种不同的消息构 成两两互不相容的基本事件集合，可用符号 ai (i=1, 2,…, 6)来表示这些消息。另外在理想情 况下，由大量实验表明，各消息都是等概率出现的，即消息概率都等于 1/6。于是，可以用 随机变量X 来描述这个信源输出的消息。这样，这个信源抽象后得到的数学模型为 ⎡a1 a2 a3 a4 a5 a6 ⎤ X ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 1 1 1 1 1 ⎥ p x ( ) ⎣ ⎦ ⎢⎣6 6 6 6 6 6 ⎦⎥ 并且各事件的出现概率满足 9 信息论与编码理论 6 ∑p (a ) 1. i i 1 上述表明这个离散信源的概率空间是一个完备概率空间，信源输出的消息只可能是符 号集{a , a , …, a }中的任何一个，而且每次必定选取其中一个。 1 2 6 定义 2-1 若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消 息，这样的信源称为简单的离散信源，或称为一维离散信源。 设信源输出的全体符号构成的符号集为A={a ,a ,…,a }，那么简单离散信源的输出X 就 1 2 q 是A 上的一维离散随机变量，其数学模型就是离散型的概率空间： X ⎡a a a ⎤ ⎡ ⎤ 1