信息论第四讲平稳随机序列信源.ppt

（2）各态历经定理 ①各态历经定理： 若对一个有限(I为有限正数)齐次马氏链，存在一个正整数n01 ，对于一切i，j=1,2,…,r 都有pij(n0)0 （矩阵[P(n0)]中的所有元素大于0）。 则对于每个 j=1,2,…..,r都存在不依赖i的极限pj（每个状态都以一定的概率出现，而无论其原始状态为何）。 则称这个马氏链是各态历经的。 其中的极限概率pj={p1,p2,…pr}是方程组 ? 满足条件 的唯一解。 ②各态历经定理的含义： 如果一个有限的、齐次的马尔柯夫链满足各态历经定理，则说明经过一定时间后这个马尔柯夫链所有状态均有一个稳定的出现概率。而且这个概率的值与其起始状态无关。 各态历经就是各个状态相通，不会有一个或几个状态到一定步骤后总也不出现。 定理一方面说明了极限概率的存在性，无限步转移概率就等于极限概率。 另一方面给出了极限概率的求法，已知一步转移概率就可以求出极限概率，条件是必须满足定理，并利用边界条件。 ③状态极限概率的求法： 根据各态历经定理，满足这个定理的马尔柯夫链的极限概率就是各状态的稳态概率，注意它不是转移概率，不是条件概率，在信源中它相当于先验概率。pj=p{X(t)=j}=P{X=j}。 由各态历经定理给出的方法，如果用矩阵表示极限概率和一步转移概率： 状态极限概率：[P]=[Pi]=[Pj]=[p1,p2,p3,……pr] 一步转移概率： 则有： [Pj]T=[P(1)]T.[Pj]T [例2-16]: 设一个马氏链有三个状态，状态取值于X:{0,1,2}, 其一步转移概率为：其中p0，q0。 这时pij(1)0不满足，不能判断是否具有各态历经性，看二步转移矩阵。 这时pij(2)0满足，可以判断具有各态历经性，其状态极限概率（稳态概率）可以得到由一步状态转移矩阵求极限概率的基本关系为：[Pj]T=[P(1)]T.[Pj]T。 p0=qp0+qp1 p1=pp0+qp2 p2=pp1+pp2; p0+p1+p2=1; pj0 由这四个方程求解。 可以得到： p0=？ p1=？ p2=？ （3）状态转移图 有限齐次马氏链除了用转移矩阵描述外还可以用状态转移图来表示。 例如上面的例题对应的状态图为： ①齐次马氏链为一个不可约闭集，即对马氏链中的任意两个状态，总可以从一个状态经过有限步数转移到另一个状态； ②齐次马氏链具有非周期性，从一个状态到另一个状态的步数不能具有周期性； * 2.6 平稳随机序列信源 前面讨论的是单符号离散信源和单符号离散信道的信息特性。这一节开始讨论随机矢量或随机序列信源（多符号信源）的情况。通常这种信源是很复杂的，通常要进行简化分析。 首先应当注意以下几点： ①实际信源多为相关信源；而前面讨论的为无记忆信源（不相关）； ②为了讨论相关信源，考虑一下多符号信源和扩展信源； ③在相关信源中只讨论一种特例:马尔科夫信源； ④为平稳随机序列，即统计特性不随时间改变； ⑤随机序列为有限等长度，每个信源消息由N个符号序列组成。 实际的多符号信源为： 如果认为平稳序列，则为： 其中每个信源状态为： 为一个有限长度的多维随机序列，如果不考虑顺序i，可以记为： [X]=X1，X2，X3，…XN 平稳随机序列信源 (多符号信源) [X]=X1，X2，X3，…XN 离散无记忆信道 [X]=X1，X2，X3，…XN [Y]=Y1，Y2，Y3，…YN 2.7.1 离散无记忆信源的扩展信源 A.假设条件 这里对离散平稳随机序列信源做进一步假设。 我们假设多符号离散平稳信源, [X]=X1，X2，…XN 或 中，符号的随机变量Xi都取值于同一个信源空间， 假设多符号离散平稳信源 [X]=X1，X2，…Xi…XN中，各变量Xi(i=1,2,…N)之间统计独立，即 P(X)=P(X1,X2,…Xi…XN)=P(X1)P(X2)P(X3)…P(XN) 我们介绍的离散无记忆信源包括两层意思： ①单符号离散无记忆信源， p(x1,x2,…xn)=p(x1)p(x2)…p(xn) ②多符号离散无记忆信源， P(X1,X2,…XN)= P(X1)P(X2)P(X3)…P(XN) P(X1,X2,…XN)= P(X1)P(X2)P(X3)…P(XN) 在这种假设前提下，可以把多符号离散平稳信源看作单符号离散平稳信源的N次扩展信源。 通常N次扩展信源，记为XN。 B.N次扩展信源的信源空间 因为信源XN的每一个消息[Xi]=[Xi1,Xi2,……XiN]均由信源X的符号集X:{x1,x2,…xn}中的N个符号组成，所以，XN 的某一个具体符号Xi可以表示为： [Xi]=(Xi1,Xi2,……XiN) Xij∈X:{x1,x2,…xn}，