第二章 信源和信源熵.pptVIP

第二章 信源及信源熵;;2.1 信源的描述和分类;;;;;;三、马尔科夫信源 若信源在某一时刻发出的符号概率除与该符号有关外，还与此前的符号有关，则此类信源为有记忆信源。如果与前面无限个符号有关，为无限记忆信源；如果仅与前面有限个符号有关，为有限记忆信源。 有记忆信源序列的联合概率与条件概率有关 将这有限个符号记为一个状态，在信源发出的符号概率除与次符号有关外，只与该时刻所处的状态有关，信源将来的状态及其发出的符号只与信源当前的状态有关，而与信源过去的状态无关。这种信源的一般数学模型就是马尔可夫过程，所以称这种信源为马尔可夫信源。;马氏链的基本概念 m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 p(xt|xt-1,xt-2, xt-3,…xt-m,…x1) = p(xt|xt-1,xt-2, xt-3,…xt-m) 令si = (xi 1 xi 2 …xi m) i1,i2…im ∈(1,2, …q) m个字母组成的各种可能的序列就对应于信源全部可能的状态S. 状态集S ={ s1,s2,…,sQ} Q = qm 信源输出的随机符号序列为：x1,x2,…x i-1, x i… 信源所处的随机状态序列为：s1,s2,…si-1 ,si,…;例：二元序列为 考虑m = 2，Q = qm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为…s2 s3 s2 s4 s4 s3 s1…;设信源在时刻m处于si状态，它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}={sj | si} pij(m)：基本转移概率（一步转移概率）、 若pij(m)与m 的取值无关，则称为齐次(时齐)马尔可夫链。 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质：pij≥0 类似地，定义k步转移概率为pij（k）= p{Sm+k=sj| Sm= si} 由于系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态，因此状态转移时，转移概率是一个矩阵 ;也可将符号条件概率写成矩阵： 上两个矩阵，一般情况下是不同的。 齐次马尔可夫链可以用其状态转移图（香农线图）来表示，图是一个有着6个状态的齐次马尔可夫链。;齐次马尔可夫链中的状态可以根据其性质进行分类: 如状态si经若干步后总能到达状态sj，即存在k,使pij(k)＞0，则称si可到达sj; 若两个状态相互可到达,则称此二状态相通； 过渡态???一个状态经过若干步以后总能到达某一其他状态，但不能从其他状态返回,如图中的状态s1； 吸收态：一个只能从自身返回到自身而不能到达其他任何状态的状态，如图中的状态s6； 常返态：经有限步后迟早要返回的状态，如s2、s3、s4和s5； 周期性的：在常返态中，有些状态仅当k能被某整数d＞1整除时才有pij(k)＞0，如图中的状态s4和s5，其周期为2； 非周期性的：对于pij(k)＞0的所有k值，其最大公约数为1。 遍历状态：非周期的、常返的状态,如图中的状态s2和s3。 闭集：状态空间中的某一子集中的任何一状态都不能到达子集以外的任何状态 不可约的：闭集中除自身全体外再没有其他闭集的闭集;一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij(k)在k→∞时趋于一个和初始状态无关的极限概率p(sj)，它是满足方程组 的唯一解； p(sj)或Wj：为马尔可夫链的一个平稳分布， 且p(sj)或Wj就是系统此时处于状态sj的概率。 ;例：设一个二元二阶马尔可夫信源，信源符号集为 X =0，1，输出符号的条件概率为： 求该信源的状态转移图。;解： p(0/00)= p(x0/e1)= p(e1/e1)= 0.8 p(1/00)= p(x1/e1)= p(e2/e1)= 0.2 p(0/01)= p(x0/e2)= p(e3/e2)= 0.5 p(1/01)= p(x1/e2)= p(e4/e2)= 0.5 p(0/10)= p(x0/e3)= p(e1/e3)= 0.5 p(1/10)= p(x1/e3)= p(e2/e3)= 0.5 p(0/11)= p(x0/e4)= p(e3/e4)= 0.2 p(1/11)= p(x1/e4)= p(e4/e4)= 0.8 ;例：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) =