信息论第3章 信源和信息熵.ppt

第3章 信源及信源熵 重庆交通大学计算机与信息学院 通信工程系 李益才 2012年8月 第3章 信源及信息熵 3.1 信源的分类及其数学模型 3.2 离散单符号信源 3.3 离散多符号信源 3.4 * 连续信源 第3章 信源及信息熵 信源(Information Source)是信息的来源，是产生消息（符号）、时间离散的消息序列（符号序列）以及时间连续的消息的来源。 信源输出的消息都是随机的，因此可用概率来描述其统计特性。在信息论中，用随机变量X、随机矢量X、随机过程 {X(e,t)}分别表示产生消息、消息序列以及时间连续消息的信源。 信源的主要问题： 如何描述信源（信源的数学建模问题） 怎样计算信源所含的信息量 怎样有效的表示信源输出的消息，也就是信源编码问题 3.1 信源的分类及其数学模型 信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类： 3.1 信源的分类及其数学模型 我们还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源，根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。 一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。随机序列，特别是离散平稳随机序列是我们研究的主要内容。 3.2 离散单符号信源 输出单个离散取值的符号的信源称为离散单符号信源。它是最简单也是最基本的信源，是组成实际信源的基本单元。它用一个离散随机变量表示。信源所有可能输出的消息和消息对应的概率共同组成的二元序对[X,P(X)] 称为信源的概率空间： 信源输出的所有消息的自信息的统计平均值定义为信源的平均自信息量（信息熵），它表示离散单符号信源的平均不确定性： 3.3 离散多符号信源 定义3.1：对于随机变量序列X1,X2,…,Xn,…，在任意两个不同时刻i和j(i和j为大于1的任意整数)信源发出消息的概率分布完全相同，即对于任意的N，N=0,1,2,…，XiXi+1…Xi+N…和XjXj+1…Xj+N…具有相同的概率分布。也就是 即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。 3.3 离散多符号信源 对于离散多符号信源, 我们引入熵率的概念，它表示信源输出的符号序列中，平均每个符号所携带的信息量。 定义3.2 随机变量序列中，对前N个随机变量的联合熵求平均： 称为平均符号熵。如果当 时上式极限存在，则 称为熵率，或称为极限熵，记为 3.3.1 离散平稳无记忆信源 离散平稳无记忆信源输出的符号序列是平稳随机序列，并且符号之间是无关的，即是统计独立的。假定信源每次输出的是N长符号序列，则它的数学模型是N维离散随机变量序列：X=X1X2…XN ， 并且每个随机变量之间统计独立。同时，由于是平稳信源，每个随机变量的统计特性都相同，我们还可以把一个输出N长符号序列的信源记为： 根据统计独立的多维随机变量的联合熵与信息熵之间的关系，可以推出： 离散平稳无记忆信源的熵率： 3.3.2 离散平稳有记忆信源 实际信源往往是有记忆信源。 对于相互间有依赖关系的N维随机变量的联合熵存在以下关系（熵函数的链规则） ： 定理3.1 对于离散平稳信源，有以下几个结论： （1）条件熵 随N的增加是递减的； （2）N给定时平均符号熵大于等于条件熵，即 （3）平均符号熵 随N的增加是递减的； （4）如果 ，则 存在，并且 条件熵 随N的增加是递减的 L给定时平均符号熵大于等于条件熵 平均符号熵 随N的增加是递减的； 如果 ，则 3.3.3 马尔可夫信源 有一类信源，信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时候发出的符号无关，这称为马尔可夫性，这类信源称为马尔可夫信源。马尔可夫信源可以在N不很大时得到 。如果信源在某时刻发出的符号仅与在此之前发出的 m个符号有关，则称为m阶马尔可夫信源，它的熵率： 通常记作： 3.3.3 马尔可夫信源 马尔可夫信源是一类相对简单的有记忆信源，信源在某一时刻发出某