离散信源的信息熵数学与统计学院.PDF

第二章 离散信源及其信息测度 1、信源的分类 2、基本信源的数学模型 3、离散信源的信息熵 4、信息熵的基本性质 5、离散无记忆扩展信源的信息熵 6、离散平稳信源的信息熵 7、马尔科夫信源及其信息熵 8、信源剩余度 从本章开始，我们将从有效而可靠地传输信息的观点出 发，对组成信息传输系统的各个部分分别进行讨论。本章首先讨 论信源，重点研究信源的统计特性和数学模型，以及各类离散信 源的信息测度——熵及其性质，从而引入信息理论的一些基本概 念和重要结论。本章内容是香农信息论的基础。 2.1 信源的分类 信源是信息的来源，是产生消息或消息序列的源泉。 不同的信源输出的消息其随机性质不同。根据消息所具有的随机 性质的不同，对信源进行如下分类： 1、按照消息取值集合以及取值时刻集合的离散性和连续性，信 源可分为离散信源 （数字信源）和波形信源 模拟信源）。 2、按照某取值时刻消息的取值集合的离散性和连续性，信源可 分为离散信源和连续信源。 3、按照信源输出消息所对应的随机序列的平稳性信源可分为平 稳信源和非平稳信源。 4、按照信源输出的消息所对应的随机序列变量前后之间有无统 计以来关系，信源可分为无记忆信源和有记忆信源。 2.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息 是抽象的，而消息是具体的。消息不是信息本身，但它包含着和 携带着信息。所以，要通过信息的表达者——消息来研究信源。 我们不研究信源的内部结构，不研究信源为什么产生和怎样产生 各种不同的、可能的消息，而只研究信源的各种可能的输出，以 及输出各种可能消息的不确定性。正如前面绪论中所述，在通信 系统中收信者在未收到消息以前，对信源发出什么消息是不确定 的，是随机的，所以可用随机变量、随机矢量或随机过程来描述 信源输出的消息。或者说，用一个样本空间及其概率测度——概 率空间来描述信源。 例如，扔一颗质地均匀的骰子，研究其下落后，朝上上面 的点数。每次试验结果必然是 1 点、2 点、3 点、4 点、5 点、6 点中的某 个面朝上。这种信源输出消息是“朝上的面是 1 点”， “朝上的面是2 点”、……、“朝上的面是 6 点”等六个不同的 消息。每次试验只出现一种消息，出现哪一种消息是随机的，但 必定是出现这六个消息集中的某一个消息，不可能出现这个集合 以外的什么消息。这六个不同的消息构成两两互不相容的基本事 件集合。 2.2 基本信源的数学模型 1、离散信源  X   a ,1 a , , a2 q  q  并满足 p(a ) 1      i P(x) P(a ), P(a ), , P(a ) i1  1 2 q  2、连续信源 我们可用一维的连续型随机变量 X 来描述这些消息。则这种 信源称为连续信源，其数学模型是连续型的概率空间，表示为: b  X  (a,b)  R   或 并满足 p(x)dx  1或 p(x)dx  1       a R p(x) p(x) p(x)    