论与编码第2章信源与信息熵.ppt

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第2章 信源与信息熵 信源的描述与分类 离散信源熵和互信息 离散序列信源熵 连续信源熵和互信息 冗余度 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机属性和概率统计特性 2.1 信源的描述与分类 分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源 2.1 信源的描述与分类 描述：通过概率空间描述 单符号离散信源 显然有p(xi)?0， 例如：对二进制数字与数据信源 2.1 信源的描述与分类 连续信源 显然应满足pX(x) ?0， 2.1 信源的描述与分类 离散序列信源 以3位PCM信源为例 2.1 信源的描述与分类 当p=1/2 2.1信源的分类及描述 离散有记忆序列信源：当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋，再取第二个球。 随机波形信源 用采样定理将波形信号转换成多维连续的信号: 时域采样：频带受限fm的时间连续函数f(t),不失真采样频率fs ? 2fm，若时间上受限0? t ? tB，采样点数为tB?(1/2fm)＝2fmtB。可见，频率受限fm、时间受限tB的任何时间连续函数，完全可以由2fmtB个采样值来描述。 随机波形信源 频域采样：时间受限于tB的频域连续函数，在0～2?的数字频域上要采L点的条件是时域延拓周期LT ? tB，若频率受限fm，则采样点数L ? tB/T＝tBfs ? 2fmtB。 但是，从理论上说任何时间受限的函数，其频谱是无限的；反之，任何频带受限的函数，其时间上是无限的。 实际中，可认为函数在频带fm、时间tB以外的取值很小，不至于引起函数的严重失真。 随机波形信源 所以，波形信号只要是时间上或频率上有限，都可通过采样变成时间上或频率上离散的连续符号序列。如果原来的随机过程是平稳的，那么采样后的随机序列也是平稳的。 一般情况下，采样得到的2fmtB个随机变量之间是线性相关的，也就是说这L＝2fmtB维连续型随机序列是有记忆的。因此随机波形信源也是一种有记忆信源。 （4）马尔可夫信源 当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。 齐次马尔可夫信源：与时间起点无关。 2.1信源的分类及描述 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态： 信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用符号条件概率表示p(xj/si)，状态转移概率表示为p(sj/si) 2.1信源的分类及描述 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1) 2.1信源的分类及描述 马尔可夫信源 系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移概率矩阵为 2.1信源的分类及描述 马尔可夫信源 对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布 2.1信源的分类及描述 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj=p(sj) 2.3离散序列信源的熵 不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)0. 非周期性，所有pij(n)0的n中没有比1大的公因子。 定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。 2.3离散序列信源的熵 Eg. 一个相对编码器，求平稳分布 2.3离散序列信源的熵 Eg. 二阶马氏链，X?{0,1},求平稳分布 解：令各状态的稳态分布概率为W1，W2，W3，W4，可得方程组 2.2离散信源熵与互信息 信息量 自信息量 联合自信息量 条件自信息量 单符号离散信源熵 符号熵 条件熵 联合熵 2.2离散信源熵与互信息 信息 不确定性 信息的度量 随机性、概率 相互独立符合事件概率相乘、信息相加 熵 事件集的平均不确定性 2.2离散信源熵与互信息 直观推导信息测度 信息I应该是消息概率p的递降函数 由