信息论 第二章 离散信源及其信息测度2.ppt

2.6 离散平稳信源 (2)其中 是离散随机变量 时刻 时刻 一般 2、离散平稳信源 2、信息熵的定义式 (3) (1)条件熵 (2) 4、二维平稳信源X 信息熵/符号 3、发出第N个符号的条件熵 (3)平均符号熵 随N非递增； 性质2： 2.7 马尔可夫信源 2.7.1 马尔可夫信源的定义 (3)第l 时刻,信源处于状态 时，输出符号 (2)定义m阶马尔可夫信源 发生符号概率： 解:(1)分配状态： 2.7.2 马尔可夫信源的信息熵 3、确定 对于时齐的，遍历的马尔可夫链，当转移步数N足够长时，状态的N步转移概率与初始状态无关，这时每种状态出现的概率已达到一种稳定分布。 (1) 时齐的：概率分布与时间无关 解：(1)画出状态转移图 2.8 信源剩余度与自然语言的熵 2.8.1 实际离散信源的模型 2.8.2 信源剩余度 2、信源剩余度 定义式： 2.8.3 自然语言的熵 (1)熵： 结论：一般离散信源都可以用不同记忆 长度的马尔可夫信源来逼近。 加密和纠错可使用上述思想。 例：汉语 符号集 10000个符号 4、m阶马尔可夫信源 (1)引入 任何时刻 ，符号发生的概率只与前面m个符号组成的序列有关; 此m个符号组成的序列看成一个状态。共有 个不同的状态。 信源输出符号的长度为m+1 例 2.8 二元二阶马尔可夫信源 已知符号集 ,发出符号的条件概率 (2)画出信源的 状态转换图 00 10 01 11 (3)由状态图，列出状态一步转移概率 00 10 01 11 可将信源符号序列变换成对应的状态序列 由信源定义知: (1) 在某状态下发生什么符号的概率分布 已知 (2) 在某状态下状态转移概率已知 1、由信息熵定义，某状态下发出一个符号所携带的平均信息量 2、信源的平均信息量，应对s 取统计平均。令信源处于某状态的绝对概率为 ，则 (2)常返状态：从状态 出发，迟早能回 到 状态 (3)过渡状态：从过渡状态 出发，一旦转移到 状态后就不能再返回。 4、名词解释 (4)周期态：由某状态 出发，再返回 所需的转移步数能被不等与1的常数整除，则此常数是周期。 (6)闭集：状态不能转换到闭集以外 (7)遍历的：—— 各态历经性 状态有限，不可约闭集，非周期态，这样的时齐马氏链是遍历的，具有各态历经性 (5)不可约的：不包含子闭集的闭集。 例 2.9 (1)首先根据状态转移图求出状态的绝对概率 (2)利用公式计算信息熵 00 10 01 11 解： 例 2.10 二元二阶马尔可夫信源，已知符 号集 一维概率分布 输出第二个符号的条件概率：表2.4 输出第三个符号的条件概率：表2.5 以后 0 1 00 10 01 11 10 00 11 01 0.6 0.7 1 0.4 0.3 0 1 0 x1 x2 0.6 0.7 0.8 0.6 1 0.4 0.3 0.2 0.4 0 11 10 01 00 x1 x2 x3 表2.4 表2.5 (2)求状态的绝对概率 极限概率 10 00 11 01 (3)得信源熵 (4)求出马尔可夫信源稳定后，输出符号的概率分布 一般与初始符号概率分布不同。因此马尔可夫信源是非平稳信源将由非平稳过渡到平稳信源。 10 00 11 01 2.8 信源剩余度与自然语言的熵 2.8.1 实际离散信源的模型 2.8.2 信源剩余度 2.8.3 自然语言的熵 实际离散信源 离散平稳信源 m阶马尔可夫信源 一阶马氏信源 无记忆信源 等概率分布无记忆信源 则最大熵 即每个符号提供的平均自信息随着符号间的依赖关系长度的增加而减少。 1、熵的相对率定义 一个信源实际的信息熵与具有同样符号集的最大熵的比值。 信源实际熵 由平稳信源的条件熵随N增加的非递增性，有 剩余度 越大，表示 越小，信源符号 之间的依赖关系越强，即符号记忆长度 越长。 当 时，信源的信息熵就等于极大值 。表示信源符号间统计独立且等概率 分布。 剩余度 可用来衡量信源输出的符号序列中各符号之间的依赖程度及概率分布和均匀程度。 (1)有限的符号集 (2)输出符号序列 (3)用马尔可夫信源逼近 例：英文语言 符号集 1.最大熵 数学模型 (2) 结果: 字段无意义 3.第二