2第二章_离散信源及其信息测度.ppt

得： HN(X) = H(XN| X1X2…XN-1) 又因为 H(XN| X1X2…XN-1) ≤ HN(X) 且，当 时， HN(X) = HN+k(X) 当固定N时，有 HN+k(X) ≤ H(XN| X1X2…XN-1) 式中， H0(X) 为等概率无记忆信源单个符号的熵， H1(X)为一般无记忆（不等概率）信源单个符号的熵 H2(X)为两个符号组成的序列平均符号熵，依次类推。 推广可得结论： H∞ (X) ≤ … ≤ H2(X) ≤ H1(X) ≤ H0(X) 可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵. 一般的，对记忆长度为m的平稳信源，则离散平稳信源的极限熵为H(Xm+1|X1X2…Xm)。这是因为当Nm时， H(XN|X1X2…XN-1)= H(Xm+1|X1X2…Xm) 。 对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵 2.7 马尔可夫信源 在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面的符号无关。 为了描述这类信源，除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。 若一个信源满足下面两个条件，则称为马尔可夫信源： （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关； （2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即 当符号输出概率与时刻 l 无关，称为具有时齐性。即 2.7 马尔可夫信源 （2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 条件（2）表明，若信源处于某一状态 ，当它发出 一个符号后，所处的状态就变了，一定转移到另一状态。 状态的转移依赖于发出的信源符号，因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。 2.7 马尔可夫信源 例：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定义为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 由此可见，信源共有22=4种状态 E：{e1=00,e2=01,e3=10,e4=11} 2.7 马尔可夫信源 状态之间有转移概率， p(e2|e1)=p(e3|e4)=0.2 p(e2|e4)=p(e1|e3)=p(e2|e3)=p(e3|e2)=0.5 P(e1|e1)=p(e4|e4)=0.8 其状态转移图如下页。在状态转换图中，把信源的每一种状态用圆圈表示，用有向箭头表示信源发出某一符号后由一种状态到另一状态的转移。 2.7 马尔可夫信源 01 10 0:0.5 1:0.2 0:0.2 00 0:0.8 11 1:0.8 1:0.5 0:0.5 1:0.5 由上例可知，m阶马尔可夫信源符号集共有q个符号，则信源共有 个不同状态。信源在某一时刻时，必然处于某一种状态，等到下一个字符输出时，转移到另外一个状态。 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵 1)假设其为离散平稳随机序列信源，极限熵H∞存在，但求解困难； 2) 假设其为m阶Markov信源，用其m阶条件熵Hm+1近似；近似程度取决于记忆长度m的大小，最简单的是记忆长度为1,用H2来近似； 3) 假定信源是离散无记忆信源，各符号出现概率能知道，用平均自信息量H1=H(x)来近似; 4) 假定信源为等概的离散无记忆信源，其熵为H0=logq来近似 它们之间的关系可以表示为： 1、关于离散信源熵的总结： 前面曾介绍：离散无记忆信源及其N次扩展、离散平稳信源、有限长度记忆信源（包括marlkov信源）。 实际信源可能是非平稳的有记忆随机序列信源；其极限熵是不存在的；解决的方法是： 2、熵的相对率 3、信源冗余度（也称为多余度或剩余度） 信源输出符号间依赖关系