第五章马尔科夫过程.pptVIP

若闭集C中不含有任何非空的子集，则称C是不可约的, 当状态空间S 是不可约时，则称此马氏链为不可约的，否则 称为可约的。所以一个马氏链是不可约的充要条件为S中所 有状态互通。 为了讨论状态空间的分解，下面给出引理： 1) 设 则 的充要条件为 2) 设 是常返态,若 且 则 3)设 是常返态,若 且 则 (2)由引理可得下列结论： 5.3 齐次马氏链状态类型的分类 第二十九页，共七十二页，2022年，8月28日 1)S中所有状态构成一个闭集; 2)在不可约的马氏链中，所有状态或是常返态、或 是非常返态； 3)对任一马氏链的状态空间S,可唯一地分解成有限个 或可列个互不相交的子集 之并,即 并使得 (I)任一个 中的状态到达。 是由常返态构成且是互通的闭集,而且 不可能由 中的状态到达; (II)在 中的所有状态属于同一类且 中任意两个 状态 均有 中状态 5.3 齐次马氏链状态类型的分类 第三十页，共七十二页，2022年，8月28日 (III) 是一切非常返态所构成,且 中的状态不可 能自 中的状态到达。 例5、设X是一个马氏链，状态空间为 转移概率矩阵为 试分析各状态类型并分解状态空间。 5.3 齐次马氏链状态类型的分类 第三