第五章马尔科夫过程.pptVIP

若闭集C中不含有任何非空的子集，则称C是不可约的,当状态空间S是不可约时，则称此马氏链为不可约的，否则称为可约的。所以一个马氏链是不可约的充要条件为S中所有状态互通。为了讨论状态空间的分解，下面给出引理：1)设则的充要条件为2)设是常返态,若且则3)设是常返态,若且则(2)由引理可得下列结论：5.3齐次马氏链状态类型的分类第29页，共72页，星期日，2025年，2月5日1)S中所有状态构成一个闭集;2)在不可约的马氏链中，所有状态或是常返态、或是非常返态；3)对任一马氏链的状态空间S,可唯一地分解成有限个或可列个互不相交的子集之并,即并使得(I)任一个中的状态到达。是由常返态构成且是互通的闭集,而且不可能由中的状态到达;(II)在中的所有状态属于同一类且中任意两个状态均有中状态5.3齐次马氏链状态类型的分类第30页，共72页，星期日，2025年，2月5日(III)是一切非常返态所构成,且中的状态不可能自中的状态到达。例5、设X是一个马氏链，状态空间为转移概率矩阵为试分析各状态类型并分解状态空间。5.3齐次马氏链状态类型的分类第31页，共72页，星期日，2025年，2月5日解：由一步转移概率矩阵作出相应的转移概率图如下：由图可知：ceadb其中为正常返、非周期状态构成的闭集；构成的闭集；为非常返状态5.3齐次马氏链状态类型的分类第32页，共72页，星期日，2025年，2月5日例6、设一齐次马氏链的状态空间为概率矩阵为其转移其中*表示一个正数。试分析状态类型。5.3齐次马氏链状态类型的分类第33页，共72页，星期日，2025年，2月5日解：由于所以0是吸收态，又故6是非常返态，从而可达状态6的也是非常返态，故状态1可达2，2可达1，故{1，2}是周期为2的正常返状态集。{3，4，5}构成一个非周期常返态闭集。例7、设一齐次马氏链的状态空间为其转移概率图为0123j5.3齐次马氏链状态类型的分类第34页，共72页，星期日，2025年，2月5日(1)试写出P矩阵；(2)试写出该链为常返链的充分必要条件。解：(1)由转移概率图可得：(2)由于本链的所有状态是互通的,只须确定其中一个状态是常返态的条件即可,如状态0,可得5.3齐次马氏链状态类型的分类第35页，共72页，星期日，2025年，2月5日欲使其充分必要条件为即5.3齐次马氏链状态类型的分类第36页，共72页，星期日，2025年，2月5日5.4转移概率的稳定性能本目考虑的情形。若设是非常返态或零常返态，必有1、转移概率的极限以下讨论正常返态的情形。令表示系统从状态出发，在某时刻首次到达状态的迟早概率，且第37页，共72页，星期日，2025年，2月5日(1)有关定理1)设是正常返态，则其中是是平均转回时间。是不可约的齐次马氏链，它的每一个状态都是正常返的，而且有周期推论：设状态空间被唯一地分解成则5.4转移概率的稳定性能第38页，共72页，星期日，2025年，2月5日特别地，如果则2)设齐次马氏链状态空间为S,如果存在正整数使的一步转移概率矩阵的次幂中的每个元素都大于零,则该链是不可约的,而且必存在,且此极限与初状态无关,记为即有若X是一个不可约的遍历链，推论:均有5.4转移概率的稳定性能第39页，共72页，星期日，2025年，2月5日(2)极限分布设C为互通的遍历状态构成的闭集,则则于是若马氏链是一个不可约的遍历链，都有且满足故构成一概率分布，称为马氏链的极限分布。于是，不可约的马氏链为遍历链的充要条件为极限分布存在且唯一。5.4转移概率的稳定性能第40页，共72页，星期