信息论第三章信源及信息熵.pptVIP

第3章 信源及信源熵 重庆交通大学计算机与信息学院 通信工程系 李益才 2012年8月 第3章 信源及信息熵 3.1 信源的分类及其数学模型 3.2 离散单符号信源 3.3 离散多符号信源 3.4 * 连续信源 第3章 信源及信息熵 信源(Information Source)是信息的来源，是产生消息（符号）、时间离散的消息序列（符号序列）以及时间连续的消息的来源。 信源输出的消息都是随机的，因此可用概率来描述其统计特性。在信息论中，用随机变量X、随机矢量X、随机过程 {X(e,t)}分别表示产生消息、消息序列以及时间连续消息的信源。 信源的主要问题： 如何描述信源（信源的数学建模问题） 怎样计算信源所含的信息量 怎样有效的表示信源输出的消息，也就是信源编码问题 3.1 信源的分类及其数学模型 信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类： 3.1 信源的分类及其数学模型 我们还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源，根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。 一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。随机序列，特别是离散平稳随机序列是我们研究的主要内容。 3.2 离散单符号信源 输