信息论与编码 第二章(3节).pptVIP

2.3离散序列信源熵 一、离散无记忆序列信源 二、离散有记忆序列信源 1、平稳序列信源 2、齐次遍历马尔可夫信源 分析手段需要用联合概率分布函数或条件概率 分布函数来描述信源发出的符号间的关系。 一、离散无记忆信源的序列熵（信源的扩展） 讨论离散无记忆信源，此时，信源序列的前后符 号之间是统计独立的。 在二元系统中，可以把两个二元数字看成一组，会 出现四种可能情况：00、01、10和11，可以把这四种情 况看成一个新的信源称为二元无记忆信源的二次扩展信 源，相应的，如果把N个二元数字看成一组，则新的信 源称为二元无记忆信源的N 次扩展信源。 2、离散平稳信源的数学定义 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述： 信源在某一时刻发出什么样的值取决于两方面 1、这一时刻该变量的分布概率 2、这一时刻以前发出的消息 如一个人讲话 讨论平稳的随机序列，所谓平稳是指序列的统计性 质与时间的推移无关（俩个任意时刻信源发出符号的概 率分布完全相同）。 二、离散有记忆信源的序列熵 1、引入条件熵的概念，对于由两个符号组成 的联合信源，有下列结论： ①H（X1，X2）=H（X1）+H（X2/X1） ②H（X1）≧H（X1/X2），H（X2）≧H（X2/X1） 重要结论： 若信源输出一个L长序列，则信源的序列熵为: H(X)=H(X1,X2,…,XL)=H(X1)+H(X2/X1)+…+H(XL/X1,X2,…,XL-1) 记作: 平均符号熵为: 考虑,当信源满足无记忆且平稳时,平均符号熵有怎样的特点? 书例2-12 2、马尔可夫信源： * * 1、无记忆信源的扩展 一般情况 设一个离散无记忆信源为： 则该信源的N次扩展信源为： 其中： 根据信息熵的定义： 可以证明，对于离散无记忆的扩展信源 例: 离散无记忆信源的N次扩展信源 离散无记忆信源为：X:{a1,a2,a3}; P(X):{1/4, 1/2, 1/4} 2次扩展信源为：X2:{A1…A9} 信源的9个符号为： A1=a1a1 A2=a1a2 A3=a1a3 A4=a2a1 A5=a2a2 A6=a2a3 A7=a3a1 A8=a3a2 A9=a3a3 其概率关系为 : A1 A2 A3 A4 A5 A6 A7 A8 A9 1/16 1/8 1/16 1/8 1/4 1/8 1/16 1/8 1/16 计算可知