信息论与编碌碾-第7讲-第2章信源及信息度量4.pptVIP

2.2.4 马尔可夫信源;(1) 马尔可夫信源的定义;① 信源的状态和符号集; 在第l 时刻，信源状态为ei时，输出符号xk的概率为 pl(xk /ei)=P(Xl=xk /Sl=ei) 在第l-1时刻，信源状态ei时，下一时刻转移到ej的状态转移概率为 pl(ej /ei)=P(Sl=ej /Sl-1=ei) 一步转移概率：状态转移概率 pl(ej /ei)=P(Sl=ej /Sl-1=ei) 称为马尔可夫链在时刻l 的状态一步转移概率。 时齐/齐次马尔可夫链：一般情况下，状态转移概率和已知状态下符号发生的概率均与时刻l 有关。若这些概率与时刻l 无关，即 pl(xk /ei)= p(xk /ei) pl(ej /ei)= p(ej /ei) 则称为时齐的或齐次的。此时的信源状态服从时齐马尔可夫链。;② 马尔可夫信源定义;结论： 若信源处于某一状态ei，当它发出一个符号后，所处的状态就变了； 任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定； 因为条件概率p(xk /ei)已给定，所以状态的转移满足一定的概率分布，并可求出状态的一步转移概率p(ej /ei)。 马尔可夫链的状态转移图：每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。;③ 举 例;将图中信源在ei状态下发符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出： 由图中看出： 由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。;结论： 一般有记忆信源发出的是有关联性的各符号构成的整体消息，即发出的是符号序列，并用符号间的联合概率描述这种关联性； 马尔可夫信源的不同之处在于它用符号之间的转移概率/条件概率来描述这种关联关系。即马尔可夫信源是以转移概率发出每个信源符号； 转移概率的大小取决于它与前面符号之间的关联性。;(2) m阶马尔可夫信源;① m阶马尔可夫信源;一阶马尔可夫信源：当m=1时，任何时刻信源符号发生的概率只与前面一个符号有关。 m阶马尔可夫信源的条件概率（考虑其平稳性） 说明： 对m阶有记忆离散信源，它在任何时刻l，符号发出的概率只与前面m个符号有关，把这m个符号看作信源在l 时刻的状态。 原始信源符号集共有n个符号，则有记忆信源可以有nm个不同的状态，分别对应nm个长度为m的序列。 信源输出依赖长度为m+1的随机序列转化为对应的状态序列，这种状态序列符合简单的马尔可夫链的性质。;② m阶马尔可夫信源的极限熵;上式中的 可表示为状态ei (i=1,2,…,nm)； 信源处于状态ei时，再发下一个符号 （或写成xk），则信源从状态ei转移到ej，即 。所以 其中p(ei)(i=1,2,…,nm)是m阶马尔可夫信源稳定后的状态极限概率， p(ej /ei)是一步转移概率。 ;这里利用了m阶马尔可夫信源“有限记忆长度”的根本特性，使无限大参数N变为有限值m，把求极限熵的问题变成了一个求m阶条件熵的问题。 状态一步转移概率p(ej /ei)是给定或测定的。求解Hm+1条件熵的关键就是要得到p(ei)(i=1,2,…,nm) 。 p(ei)是马尔可夫信源稳定后(N→∞)各状态的极限概率。 有限状态的马尔可夫链：状态空间的状态是有限的。 可列状态的马尔可夫链：状态空间I是{0,±1,±2,…}。;③ 有限齐次马尔可夫链各态历经定理;④ 有关问题的说明;(3) 举 例;由二元信源X∈{0,1}得到的状态空间(e1,e2,e3,e4)和相应的一步转移概率构成的2阶马尔可夫信源模型为 求出稳定状态下的p(ej) ，称为状态极限概率。 将一步转移概率代入上式得 p(e1)=0.8 p(e1)+0.5 p(e3) p(e2)=0.2 p(e1)+0.5 p(e3) p(e3)=0.5 p(e2)+0.2 p(e4) p(e4)=0.5 p(e2)+0.8 p(e4);解方程组得 p(e1)= p(e4)=5/14 p(e2)= p(e3)=2/14 计算极限熵 注意： H∞并非在任何情况下都存在。对n元m阶马尔可夫信源来说，只有状态极限概率p(ej)，j=1,2,…,nm都存在时，方能计算出H∞ 。从理论上可以证明，如果m阶马尔可夫信源稳定后具有各态历经性，则状态极限概率p(ej)可根据下式求出。 m阶马尔可夫信源是离散平稳有记忆信源的一个特例。;2.2.5