离散信源及其信息测度-数学与统计学院.PPTVIP

第二章 离散信源及其信息测度 1、信源的分类 2、基本信源的数学模型 3、离散信源的信息熵 4、信息熵的基本性质 5、离散无记忆扩展信源的信息熵 6、离散平稳信源的信息熵 7、马尔科夫信源及其信息熵 8、信源剩余度 第2章 离散信源及其信息测度 从本章开始，我们将从有效而可靠地传输信息的观点出发，对组成信息传输系统的各个部分分别进行讨论。本章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。 2.1 信源的分类 信源是信息的来源，是产生消息或消息序列的源泉。 不同的信源输出的消息其随机性质不同。根据消息所具有的随机性质的不同，对信源进行如下分类： 1、按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源（数字信源）和波形信源（模拟信源）。 2、按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源。 3、按照信源输出消息所对应的随机序列的平稳性信源可分为平稳信源和非平稳信源。 4按照信源输出的消息所对应的随机序列变量前后之间有无统计以来关系，信源可分为无记忆信源和有记忆信源。 2.1 信源的数学模型及分类 2.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽