信息论第二章课件1.ppt

例2 设一个二元一阶马尔科夫信源，信源符号集X={0,1}，信源输出符号的条件概率为 p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5 求状态转移概率，画出状态转移图。 解： * 1/0.75 0/0.5 1/0.5 例3 设有一个二元二阶马尔科夫信源，其信源符号集X={0,1}.状态变化如下：在状态为01时，若出现0，将零附到01后将第一位0挤出，状态变为10.其他状态变化过程类似。信源输出符号的条件概率为 P(0|00)=p(1|11)=0.8, p(1|00)= p(0|11)= 0.2，p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5 求状态转移概率矩阵，画出状态转移图 解： * * 01 0/0.8 0/0.5 1/0.2 0/0.5 1/0.5 1/0.5 0/0.2 1/0.8 * 齐次马尔可夫链中的状态可以根据其性质进行分类: 1、如状态si经若干步后总能到达状态sj，即存在k,使pij(k)＞0，则称si可到达sj; 若两个状态相互可到达,则称此二状态相通； 2、过渡态：一个状态经过若干步以后总能到达某一其他状态，但不能从其他状态返回； 3、吸收态：不能到达其他任何状态的状态； 4、常返态：经有限步后迟早要返回的状态； 5、周期性的：在常返态中，状态中仅当k能被某整数d＞1整除时才有pii(k)＞0； 6、非周期性的：对于pii(k)＞0的所有k值，其最大公约数为1。 * s3 s2 s4 s5 s1 s6 周期性的：在常返态中, 状态中仅当k能被某整数d＞1整除时才有pii(k)＞0,图中的周期为2； x5:1 非周期性的：对于pii(k)＞0的所有k值，其最大公约数为1。 常返态：经有限步后迟早要返回的状态， x4:1 x3:1/2 x2:1/2 x3:1/2 x2:1/2 x2:1/2 x4:1/4 x1:1/4 x6:1 x6:1/4 过渡态 吸收态 相通 * 马尔可夫信源 遍历状态： 非周期的常返状态,如图中的状态s2和s3 闭集： 状态空间中的某一子集中的任何一状态都不能到达子集以外的任何状态 不可约的： 闭集中除自身全体外再没有其他闭集 特殊结论 * 马尔可夫信源 一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij(k)在k→∞时趋于一个和初始状态无关的极限概率Wj，它是满足方程组 的唯一解； Wj ：马尔可夫链的一个平稳分布， Wj [或p(sj)]就是系统此时处于状态sj的概率。 无论随机点从哪一个状态si出发，当转移的步数k足够大时，转移到状态sj的概率pij(k)都近似于一个常数Wj * so s1 1/0.6 0/0.3 0/0.4 s2 1/0.2 0/0.8 1/0.7 例4：求马尔科夫链的稳态分布律 * 例5：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求稳定后的状态分布概率以及符号分布概率 * 状态转移概率矩阵 符号条件概率矩阵 (1)1/2 (0)1/2 (0)1/3 (1)2/3 00 01 11 10 s2 s1 s4 s3 (1)3/4 (0)1/4 (0)1/5 (1)4/5 * 稳态分布概率 稳态后的符号概率分布 * 例6 一个二元二阶马尔可夫信源,其信源符号集为{0,1}信源开始时：p(0) = p(1) = 0.5发出随机变量X1。 下一单位时间：输出随机变量X2与X1有依赖关系 x2 x1 0 1 0 0.3 0.4 1 0.7 0.6 p(x2|x1) 再下一单位时间：输出随机变量X3与X2X1有依赖关系 x3 x1 x2 00 01 10 11 0 0.4 0.2 0.3 0.4 1 0.6 0.8 0.7 0.6 p(x3|x1x2) 从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机变量Xi-2Xi-1有依赖关系: p(xi| xi-1 xi-2…x2 x1) = p(xi| xi-1 xi-2) (i＞3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i＞3) 求：⑴信源状态转移情况和相应概率；