第三篇离散信源.pptVIP

例 例2-2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率 稳态分布概率 例：一个二元二阶马尔可夫信源,其信源符号集为{0,1}信源开始时：p(0) = p(1) = 0.5发出随机变量X1。 下一单位时间：输出随机变量X2与X1有依赖关系 从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机变量Xi-2Xi-1有依赖关系: p(xi| xi-1 xi-2…x2 x1) = p(xi| xi-1 xi-2) (i＞3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i＞3) 信源发完第2个符号后再发第3个及以后的符号。 从第3单位时间以后信源必处在s3 s4 s5 s6四种状态之一。在i≥3后,信源的状态转移可用下图表示: 由题意,此马尔可夫信源的状态必然会进入这个不可约闭集,所以我们计算信源熵时可以不考虑过渡状态及过渡过程。 由 当马尔可夫信源达到稳定后,符号0和符号1的概率分布： 3.6信源的相关性和剩余度 当离散平稳信源输出符号为一随机序列时有 显然矩阵中的每一行之和都为1，而且每一个元素 都是非负的。 如果马尔可夫链中的状态空间是有限的，则称为有 限状态的马尔可夫链；若状态空间是无穷集合，则 称它为可数无穷状态的马尔可夫链。 对于具有m+r步转移概率的齐次马尔可夫链， 存在下列方程 或写成 (i,j∈S) 定义3.5.3若齐次马尔可夫链对一切i,j存在不依赖于i的极限 且满足 则称其具有遍历性，pj称为平稳分布。其中pi为该马尔可夫链的初始分布。 遍历性的直观意义是，不论质点从哪一个状态Sj出发，当转移步数n足够大时，转移到状态Sj的概率 都近似等于某个常数。 遍历性的对于有限状态马尔可夫链，如果存在 一个数集{W1,W2,…,Wr},且满足 则称该马尔可夫链的稳态分布存在。 定理3.5.1设有一马尔可夫链，其状态转移矩阵P=(pij),i,j=1,2,…,r,其稳态分布为Wj,j=1,2,…,r,则 定理3.5.2设P为某一马尔可夫链的状态转移矩阵，则该链稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。 3.5.2马尔可夫信源 信源在某一时刻发出符号与信源所处的状态有关 信源输出某一符号的概率仅与以前的若干个符号有关，而与更前面的符号无关。 定义3.5.4若信源输出的符号序列和状态序列满足下列条件则称此信源为马尔可夫信源。 （1）某一时刻信源符号的输出只与当时的信源状态有关，而与以前的状态无关，即 （2）信源状态只有当前输出符号和前一时刻信源状态唯一确定，即 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为：x1, x2,…x i-1, x i… 信源所处的随机状态序列为：s1,s2,…si-1 ,si,… 例：二元序列为 考虑m = 2，Q = nm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为 …s2 s3 s2 s4 s4 s3 s1… so s1 1/0.6 0/0.3 0/0.4 s2 1/0.2 0/0.8 1/0.7 状态转移概率矩阵 符号条件概率矩阵 (1)1/2 (0)1/2 (0)1/3 (1)2/3 00 01 11 10 s2 s1 s4 s3 (1)3/4 (0)1/4 (0)1/5 (1)4/5 稳态后的符号概率分布 0.6 0.7 1 0.4 0.3 0 1 0 x1 x2 p(x2|x1) 再下一单位时间：输出随机变量X3与X2X1有依赖关系 0.6 0.7 0.8 0.6 1 0.4 0.3 0.2 0.4 0 11 10 01 00 x1 x2 x3 p(x3|x1x2) 解: 设信源开始处于s0状态,并以等概率发出符号0和1,分别到达状态s1和s2 : 若处于s1 ,以0.3和0.7的概率发出0和1到达s3和s4 若处于s2,以0.4和0.6的概率发出0和1到达s5和s6 00 01 10 11 (0)0.5 (1)0.5 (0)0