马尔科夫信源知识讲解.ppt

马尔科夫信源; 马尔可夫信源;马氏链的基本概念 ;马氏链的基本概念 ;马尔可夫信源;若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵;例，如图所示是一个相对码编码器,输入的码Xr(r=1,2,…)是相互独立的，取值0或1，且已知P(X=0)=p, P(X=1)=1－p=q，输出的码是Yr，显然 ;;马尔可夫信源;例2 设一个二元一阶马尔科夫信源，信源符号集X={0,1}，信源输出符号的条件概率为 p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5 求状态转移概率，画出状态转移图。;例3 设有一个二元二阶马尔科夫信源，其信源符号集X={0,1}，信源输出符号的条件概率为 P(0|00)=p(1|11)=0.8, p(1|00)=0.2 p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5 求状态转移概率矩阵，画出状态转移图 解：;00; 齐次马尔可夫链中的状态可以根据其性质进行分类: 1、如状态si经若干步后总能到达状态sj，即存在k,使pij(k)＞0，则称si可到达sj; 若两个状态相互可到达,则称此二状态相通； 2、过渡态：一个状态经过若干步以后总能到达某一其他状态，但不能从其他状态返回； 3、吸收态：一个只能从自身返回到自身而不能到达其他任何状态的状态； 4、常返态：经有限步后迟早要返回的状态； 5、周期性的：在常返态中，有些状态仅当k能被某整数d＞1整除时才有pii(k)＞0； 6、非周期性的：对于pii(k)＞0的所有k值，其最大公约数为1。;;马尔可夫信源;马尔可夫信源;;例5：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率 ;状态转移概率矩阵;稳态分布概率; 一个二元二阶马尔可夫信源,其信源符号集为{0,1}信源开始时：p(0) = p(1) = 0.5发出随机变量X1。 下一单位时间：输出随机变量X2与X1有依赖关系;从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机???量Xi-2Xi-1有依赖关系: p(xi| xi-1 xi-2…x2 x1) = p(xi| xi-1 xi-2) (i＞3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i＞3) 求：⑴信源状态转移情况和相应概率； ⑵画出完整的二阶马尔可夫信源状态转移图； ⑶求平稳分布概率； （4）马尔科夫信源达到稳定后，0和1的分布概率。 ;解: 设信源开始处于s0状态,并以等概率发出符号0和1,分别到达状态s1和s2 : 若处于s1 ,以0.3和0.7的概率发出0和1到达s3和s4 若处于s2,以0.4和0.6的概率发出0和1到达s5和s6;;由题意,此马尔可夫信源的状态必然会进入这个不可约闭集,所以我们计算信源熵时可以不考虑过渡状态及过渡过程。 由 ;当马尔可夫信源达到稳定后,符号0和符号1的概率分布：;马尔可夫信源的信息熵 ;例三状态马尔可夫信源;冗余度;对于有记忆信源,极限熵为H∞(X)。 这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。;由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。 在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加入某些特殊的冗余度，即所谓信道编码，以达到通信系统中理想的传输有效性和可靠性。 ;例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 不等概率