例4二元2阶马尔可夫信源.PPT

第五节 离散平稳信源 另外还可以得到： 只有信源统计独立时等号成立。 可以证明： [例2-15] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)H(X) 二维信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1,X2)=H(X1,X2)/2=1.45 bit/符号。 第五节 离散平稳信源 第五节 离散平稳信源 我们现在有两种方法去近似信源的实际熵，一种是 为1.45bit，但这种方法不太准确，因为它把两个消息看成一组，认为两组之间是统计独立的，实际上它们之间是有关联的；另一种是我们可以用条件熵来近似，为1.4bit，到底那一种正确呢？我们可以通过对一般离散平稳信源的分析来找到这个答案。 分析：我们用 来近似信源的实际熵 第五节 离散平稳信源 3、离散平稳信源的极限熵 平均符号熵 条件熵 有以下几点性质 （1）条件熵随N的增加是非递增的 （2）N给定时，平均符号熵大于等于条件熵 （3）平均符号熵随N的增加是非递增的 （4） 称 为极限熵。 第五节 离散平稳信源 可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵 对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵 第六节 马尔可夫信源 在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。 为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。 若一个信源满足下面两个条件，则称为马尔可夫信源： （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关； （2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 第六节 马尔可夫信源 （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即 当符号输出概率与时刻L无关，称为具有时齐性。即 第六节 马尔可夫信源 （2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 条件（2）表明，若信源处于某一状态 ，当它发出 一个符号后，所处的状态就变了，一定转移到另一状态。 状态的转 移依赖于发出的信源符号，因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。 第六节 马尔可夫信源 例：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 由此可见，信源共有2^2=4种状态 E：{e1=00,e2=01,e3=10,e4=11} 第六节 马尔可夫信源 状态之间有转移概率， p(e2/e1)=p(e3/e4)=0.2 p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5 P(e1/e1)=p(e4/e4)=0.8 其状态转移图如下页。在状态转换图中，把信源的每一种状态用圆圈表示，用有向箭头表示信源发出某一符号后由一种状态到另一状态的转移。 第六节 马尔可夫信源 01 10 0:0.5 1:0.2 0:0.2 00 0:0.8 11 1:0.8 1:0.5 0:0.5 1:0.5 由上例可知，m阶马尔可夫信源符号集共有q个符号，则信源共有 个不同状态。信源在某一时刻时，必然处于某一种状态，等到下一个字符输出时，转移到另外一个状态。 举 例 [例2.2.3] 设信源符号 X∈{x1,