第二章 离散信源及信息测度.pptVIP

性质2： 性质3： N项 6、离散平稳信源的熵——极限熵 当记忆长度有限时，使用有限记忆 长度的条件熵来对平稳信源进行信 息测度。 2.7 马尔可夫信源 2.7.1 马尔可夫信源的定义 2.7.2 马尔可夫信源的信息熵 2.7.1 马尔可夫信源的定义 (2) 有关（设m个）——这m个符号总和起来称信源所处的状态 S 状态的表示： 1、概念的引入 (1) 信源输出的符号序列中符号有依赖关系，但长度有限。 (3)第l 时刻,信源处于状态 时，输出符号 (4)设在第 时刻信源处于 状态，它在下一时刻状态转移到 状态，状态转移概率表示为： (与时间无关) 与时间无关时 则信源满足时齐马尔可夫链。 2、马尔可夫信源定义 （1）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号都无关系。即 若信源输出的符号序列和信源所处的状态满足下列两个条件： 当具有时齐性时，有 (2)信源某l 时刻所处的状态由当前的输出符号和前一时刻（l-1）信源的状态唯一决定， 此信源称为马尔可夫信源 由输出符号的条件概率可求得状态转移概率。 3、信源用马尔可夫链的状态转移图表示 (1)状态用圆圈; (2)转移用有向线段; (3)在有向线段的一侧，标注发出的符号及其条件概率。 E1 E2 E3 E4 E5 例 2.8 已知状态 转移图 E1 E2 E3 E4 E5 读图 (1) 信源可处于5个状态 (2) 每一个状态可发出任何符号，且转移到任何状态 写出发出符号条件概率和状态转移概率 E1 E2 E3 E4 E5 当已知某状态下发 出的符号时，可唯 一确定转移状态。 E1 E2 E3 E4 E5 4、m 阶马尔可夫信源 (1)引入 任何时刻 ，符号发生的概率只与前面m个符号组成的序列有关; 此m个符号组成的序列看成一个状态。共有 个不同的状态。 信源输出符号的长度为m+1 (2)定义m阶马尔可夫信源 发生符号概率： 例 2.9 二元二阶马尔可夫信源 符号集 , 发出符号的条件概率 解:(1)分配状态： (2)画状态转换图 00 10 01 11 (3) 列出状态一步转移概率 00 10 01 11 可将信源符号序列变换成对应的状态序列 2.7.2 马尔可夫信源的信息熵 由信源定义 (1) 在某状态下发生什么符号的概率分布 已知 (2) 在某状态下状态转移概率已知 1、某状态下发出一个符号所携带的平均信息量 2、信源的平均信息量，应对s 取统计平均。令信源处于某状态的绝对概率为 3、确定 对于时齐的，遍历的马尔可夫链，当转移步数N足够长时，状态的N步转移概率与初始状态无关，这时每种状态出现的概率已达到一种稳定分布。 例 2.10 (1)首先根据状态转移图求出状态的绝对概率 (2)利用公式计算信息熵 00 10 01 11 解： 例 2.11 二元二阶马尔可夫信源，已知符 号集 一维概率分布 输出第二个符号的条件概率：表2.4 输出第三个符号的条件概率：表2.5 以后 解：(1)画出状态转移图 0 1 00 10 01 11 10 00 11 01 x2 x1 0 1 0 0.3 0.4 1 0.7 0.6 x3 x1 x2 00 01 10 11 0 0.4 0.2 0.3 0.4 1 0.6 0.8 0.7 0.6 表2.4 表2.5 (2) 求状态的绝对概率 极限概率 10 00 11 01 (3) 信源熵 (4)求出马尔可夫信源稳定后，输出符号的概率分布 一般与初始符号概率分布不同。马尔可夫信源是非平稳信源, 将由非平稳过渡到平稳。 10 00 11 01 2.8 信源剩余度与自然语言的熵 2.8.1 实际离散信源的模型 2.8.2 信源剩余度 2.8.1 实际离散信源的模型 实际离散信源 离散平稳信源 m阶马尔可夫信源 一阶马氏信源 无记忆信源 等概率分布无记忆信源 则最大熵 2.8.2 信源剩余度 1、熵的相对率定义 一个信源实际的信息熵与具有同样符号集的最大熵的比值。 信源实际熵 平稳信源的条件熵随N增加的非递增性， 2、信源剩余度 定义式： 剩余度 越大，表示 越小，信源符号 之间的依赖关系越强, 符号记忆长度越长 当 时，信源的信息熵就等于极大值 。表示信源符号间统计独立且等概率 分布。 剩余度 可用来衡量信源输出的符号序列中各符号之间的依赖程度及概率分布和均匀程