《马尔科夫过程》ppt课件模板.pptVIP

马氏状态分类图 状态分类判别法： （1） i非常返 （2）i零常返 且 且 （4）i遍历 且 （3）i正常返 引理1 对任意i和j，若 ，则存在正数 、及正整数l、m，使对任一正整数n，有 、 定理8 若 ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返； （3）i与j或同为非周期的，或同为周期的且有相同的周期。 3．遍历性与平稳分布 定义45：设齐次马氏链 的状态空间为E，若对一切 ，存在不依赖于i的极限 则称马尔可夫链具有遍历性。并 称为状态j的稳态概率。 定理9 对于一有限状态的马氏链 ，若存在一正整数m，使 （对所有的状态 ） 则此链是遍历性的，且 是 的满足条件 的唯一解。 对平稳分布 ，有 = 一个非周期，不可约的马氏链是常返的，它存在一个平稳分布 ，即 ，即平稳分布就是极限分布。 遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。 例1-23设马尔可夫链的状态空间 ，一步转移概率矩阵 试对该链进行分类，并说明其遍历性。 解：根据一步转移概率矩阵可画出如图1-12所示的状态转移图。从图中可知，①和②都是非周期的正常返状态，③、 ④状态都是非常返状态。 由于 说明 存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。 五、状态空间分解 定义46 设 ，若从V中任一状态出发不能到达V外的任一状态，则称V为闭集。 显然，对一切 和 有 若中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内部的状态之间转移。 定理10 马尔可夫链的所有常返状态构成的集合是一闭集。 定理11 （分解定理）状态空间E必可分解为 其中N是全体非常返态组成的集合， 是互不相交的常返态闭集组成。而且 （1）对每一确定的k, 内任意两状态相通； （2） 与 ( )中的状态之间不相通； 例1-25 设齐次马氏链 的状态空间 ，其一步转移概率矩阵为 试对该空间进行分解。 解：根据一步转移概率矩阵，可画出如图所示的状态转移图。 由图可知， ，而当 时， ，所以 ， 可见状态1为正常返，且周期 。含有状态1的常返闭集为 同理，因为 ， ，在 时， ，所以 可见状态6为正常返，且是非周期的。含有状态6的常返闭集为 状态2，6为遍历状态. 由于 ，在 时， ，所以 。可见状态4为非常返。 故 1.7 泊松过程 独立增量过程 设有一个随机过程 ，如果对任意时刻 ，过程的增量 、 、 是相互独立