信息论第3章节信源和信息熵.pptVIP

第3章 信源及信源熵 重庆交通大学计算机与信息学院 通信工程系 李益才 2012年8月 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 第3章 信源及信息熵 3.1 信源的分类及其数学模型 3.2 离散单符号信源 3.3 离散多符号信源 3.4 * 连续信源 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 第3章 信源及信息熵 信源(Information Source)是信息的来源，是产生消息（符号）、时间离散的消息序列（符号序列）以及时间连续的消息的来源。 信源输出的消息都是随机的，因此可用概率来描述其统计特性。在信息论中，用随机变量X、随机矢量X、随机过程 {X(e,t)}分别表示产生消息、消息序列以及时间连续消息的信源。 信源的主要问题： 如何描述信源（信源的数学建模问题） 怎样计算信源所含的信息量 怎样有效的表示信源输出的消息，也就是信源编码问题 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.1 信源的分类及其数学模型 信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类： 时间（空间) 取值 信源种类 举例 数学描述 离散 离散 离散信源 （数字信源） 文字、数据、 离散化图象 离散随机变量序列 离散 连续 连续信号 跳远比赛的结果、语音信号抽样以后 连续随机变量序列 连续 连续 波形信源 （模拟信源） 语音、音乐、热噪声、图形、图象 随机过程 连续 离散 不常见 表3.1 信源的分类 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.1 信源的分类及其数学模型 我们还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源，根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。 一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。随机序列，特别是离散平稳随机序列是我们研究的主要内容。 随机序列 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.2 离散单符号信源 输出单个离散取值的符号的信源称为离散单符号信源。它是最简单也是最基本的信源，是组成实际信源的基本单元。它用一个离散随机变量表示。信源所有可能输出的消息和消息对应的概率共同组成的二元序对[X,P(X)] 称为信源的概率空间： 信源输出的所有消息的自信息的统计平均值定义为信源的平均自信息量（信息熵），它表示离散单符号信源的平均不确定性： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.3 离散多符号信源 定义3.1：对于随机变量序列X1,X2,…,Xn,…，在任意两个不同时刻i和j(i和j为大于1的任意整数)信源发出消息的概率分布完全相同，即对于任意的N，N=0,1,2,…，XiXi+1…Xi+N…和XjXj+1…Xj+N…具有相同的概率分布。也就是 即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.3 离散多符号信源 对于离散多符号信源, 我们引入熵率的概念，它表示信源输出的符号序列中，平均每个符号所携带的信