[理学]信息论3.ppt

第三章 信源及信源熵 信源的分类及其数学模型 信源的分类 常根据信源输出的消息在时间和取值上是离散或连续进行分类，如表3.1所示： 信源的数学模型 一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难．买际应用时常常用一些可以处理的数学模型来近似。 比如语音信号就是非平稳随机过程，但常常用平稳随机过程来近似．平稳随机过程抽样后的结果就是平稳随机序列． 离散单符号信源 离散单符号信源 如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。 单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等； 二进制通信中传输的只是1、0两个数字；等等。 单符号离散信源的数学模型 若信源的输出是随机事件X，其出现概率为P(X)，则它们所构成的集合，称为信源的概率空间或简称为信源空间。 单符号离散信源的数学模型就是离散型的概率空间： ?? X代表随机变量，指的是信源整体 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 信源输出的所有消息的自信息的统计平均值定义为信源的平均自信息量(信息熵），它表示离散单符号信源的平均不确定性： 【例3.1】 离散多符号信源 离散多符号信源 实际信源输出的往往是符号序列，称为离散多符号信源，通常用离散随机变量序列(随机矢量)来表示：X＝x1x2…． 每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系的。 离散平稳信源 为了便于研究，假定信源所发符号序列的概率分布与时间的起点无关，也就是统计特性不随时间改变的信源，称为离散平稳信源。 数学严格定义如下： 定义3.1 信源发出的消息是离散对于随机变量序列X1，X2，…，在任意两个不同时刻i和j(i和j为大于l的任意整数)序列的概率分布完全相同，即对于任意的N＝0,1,2,…,xixi+1…xi+n和xjxj+1…xj+n具有相同的概率分布，也就是 即各维联合概率分布均与时间起点无关的信源称为离散平稳信源． 对于离散多符号信源，怎样表示信源的平均不确定性呢? 熵率:它表示信源输出的符号序列中，平均每个符号所携带的信息量． 定义3.2 随机变量序列中，对前N个随机变量的联合熵求平均： 称为平均符号熵．如果当N→∞时上式极限存在，则 称为熵率，或称为极限熵，记为 离散多符号信源 离散平稳无记忆信源 离散平稳无记忆信源 输出的符号序列是平稳随机序列，并且符号之间是无关的，即统计独立的。 离散平稳无记忆信源的N次扩展信源 为了研究离散平稳无记忆信源的熵率，假定信源每次输出的是N长符号序列，这可以看作是一个新信源，称为离散平稳无记忆信源的N次扩展信源。 N次扩展信源的数学模型 是N维离散随机变量序列(随机矢量)；X＝X1X2…XN，其中每个随机变量之间统计独立，同时，由于是平稳信源，每个随机变量的统计特性都相同，因此还可以把一个输出N长符号序列的信源记为：X＝X1X2…XN =XN． N次扩展信源的熵 根据统计独立的多维随机变量的联合熵与信息熵之间的关系，可以推出： 即N次扩展信源的熵等于单符号离散信源熵的N倍，信源输出的N长符号序列平均提供的信息量是单符号离散信源平均每个符号所提供信息量的N倍． 离散平稳无记忆信源的熵率 【例3.2】有一离散无记忆信源 求该信源的熵率、二次扩展信源（信源每次输出两个符号）及扩展信源的熵。 解 扩展信源 单符号离散信源熵 二次扩展信源的熵 H(X)=2H(X)=3比特/两个符号 注意，H(x)的单位是“比特／2个符号”，其中每个符号提供的信息量仍然是 1.5bit． 离散平稳有记忆信源 前面讲了离散平稳信源中最简单的离散平稳无记忆信源，而实际信源往往是有记忆信源． 假定信源输出N长的符号序列，则它的数学模型是N维随机变量序列(随机矢量)：X＝X1，X2…XN，其中每个随机变量之间存在统计依赖关系． 对于相互间有依赖关系的N维随机变量的联合熵可以用下式表示，称为熵函数的链规则： 即N维随机变量的联合熵等于起始时刻随机变量X1的熵与各阶条件熵之和． 定理3.1 对于离散平稳信源，有以下几个结论： (1)条件熵H(XN|X1X2…XN-1)随N的增加是递减的; 这表明记忆长度越长，条件熵越小，也就是序列的统计约束关系增加时，不确定性减少