第3章 信源及信息熵 (1).pptVIP

* 第3章 信源及信源熵 重庆交通大学信息科学与工程学院 通信工程系 黄大荣 第3章 信源及信息熵 3.1 信源的分类及其数学模型 3.2 离散单符号信源 3.3 离散多符号信源 3.4 * 连续信源 第3章 信源及信息熵 信源(Information Source)是信息的来源，是产生消息（符号）、时间离散的消息序列（符号序列）以及时间连续的消息的来源。 信源输出的消息都是随机的，因此可用概率来描述其统计特性。在信息论中，用随机变量X、随机矢量X、随机过程 {X(e,t)}分别表示产生消息、消息序列以及时间连续消息的信源。 信源的主要问题： 如何描述信源（信源的数学建模问题） 怎样计算信源所含的信息量 怎样有效的表示信源输出的消息，也就是信源编码问题 3.1 信源的分类及其数学模型 信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类： 时间（空间) 取值 信源种类 举例 数学描述 离散 离散 离散信源 （数字信源） 文字、数据、 离散化图像 离散随机变量序列 离散 连续 连续信号 跳远比赛的结果、语音信号抽样以后 连续随机变量序列 连续 连续 波形信源 （模拟信源） 语音、音乐、热噪声、图形、图像 随机过程 连续 离散 不常见 表3.1 信源的分类 3.1 信源的分类及其数学模型 我们还可以根据各维随机变量的