2东北大学信息论和编码011chapter2.ppt

联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。 一类相对简单的离散平稳信源；该信源在某一时刻发出符号的概率除与该符号有关外,只与此前发出的有限个符号有关。描述符号之间依赖关系的条件概率可表述为： 最简单的马尔可夫信源是当m=1，也就是一阶马尔可夫信源。 对于m阶马尔可夫信源，将该时刻以前出现的m个符号组成的序列定义为状态si， si有Q种可能取值。 Yr确定后，Yr+1概率分布只与Yr有关，与Yr-1 、Yr-2 …等无关， p(sj---稳定后的状态概率分布] WP=W [p(a1) p(a2)]=WP’ 在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。具体地说，如信源发某一符号ai，由于信道中噪声的随机干扰，收信者收到的一般是ai的某种变型bi．收信者收到bi后，从bi中获取关于ai的信息量,如果以I(ai；bi)表示，则有I(ai；bi)＝[收到bi前，收信者对ai存在的不确定性(先验不定度)]—[收到bi后，收信者对ai仍然存在的不确定性(后验不定度)]＝收信者收到bi前、后，对ai存在的不确定性的消除。假定信道中没有噪声的随机干扰(即无噪信道)。这时，显然有bi＝ai本身，收信者确切无误地收到信源发出的消息。那么，(收到bi后，对ai仍存在的不确定性)＝0。同时，(收到bi后，从b