Markov过程使用版.ppt

例5 设马氏链的状态空间I = {0,1,2,…}，转移概率为 试讨论各状态的遍历性。 解 根据转移概率作出状态传递图 … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 3 1/2 从图可知，对任一状态 都有 ， 故由定理可知，I 中的所以状态都是相通的， 因此只需考虑状态0是否正常返即可。 … 故 从而0是常返态。 又因为 所以状态0为正常返。 又由于 故状态0为非周期的 从而状态0是遍历的。 故所有状态i都是遍历的。 一般情况 End. * 1 基本概念 2 状态类别的划分和判别 3 状态间的关系 返回概率 平均返回时间 周期 分类 判别 第二节 Markov链的状态分类及性质 定义（可达、互通） 性质 互通的两个状态之间的关系 4 状态空间的分解 定义及重要结论（闭集、等价类） 分解定理（两个定理） 一、基本概念 1.返回概率 自状态 i出发，经过n步首次到达状态j 的概率 自状态i出发，经有限步终于到达状态j的概率 自状态i出发，经有限步终于返回状态 i的概率 定理1 对任意 及 ，有 说明1 该定理表示n步转移概率按照首次到达时间的所有可能值进行分解 说明2 首达时间 系统从状态i出发， 首次到达状态j的时刻 称为从状态 i 出发首次进入状态 j 的时间，或称自i 到j 的首达时间。 如果这样的n不存在，规定 说明1 2.平均返回时间 说明2 平均返回时间 状态i的平均返回时间 状态i的周期 若di 1,称i是周期的；若di =1,称i是非周期的。 说明1 3.周期 di体现系统的发展变化种状态i重复出现的概率周期。 说明2 若i的周期是di，并不是对所有的n满足 说明3 二、状态类别的划分及判别 1.状态类别的划分 状态 i 非常返态 常返态 零常返态 正常返态 周期 非周期（遍历态） 常返态 非常返态 正常返态 零常返态 注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返” 定理2 证 则系统从状态i出发，经过有限次转移之后，必定以概率1返回状态i。 再由马氏性 系统返回状态i要重复发生 这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。 将“不返回i”称为成功， 则首次成功出现的次数服从几何分布， 也就是说以概率1只有有穷次返回i。 即 2.判别 （1）判别是否常返态 定理3 2.判别 （2）判别是否零常返态、正常返有（非）周期 定理4 对任意给定的状态i，如果i是常返态且有周期di，则存在极限 2.判别 （3）判别是否有周期 三、状态间的关系 1.定义 状态 i可达状态j 2.性质 简记为 i→j 状态 i与状态j互通 i→j j →i 且 传递性、对称性 3.利用首达概率刻画可达和互通关系 4.互通的两个状态的状态类型 互通的两个状态必有相同的状态类型 结论1 结论2 定理5 四、状态空间的分解 互通满足：自反性、对称性、传递性。 互通是一种等价关系 （常返态） 按互通关系是等价关系，可以把状态空间 I 划分为若干个不相交的集合（或者说等价类），并称之为状态类。 若两个状态相通，则这两个状态属于同一类。 任意两个类或不相交或者相同。 说明 （1）定义 A．闭集 设C为状态空间I 的一个子集， 则C称为闭集。 注1 若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。 整个状态空间构成一个闭集。 吸收态 指一个闭集中只含一个状态 注2 若状态空间含有吸收状态，那么这个吸收状态构成一个最小的闭集。 B．不可约的 设C为闭集，如果C中不再含有任何非空真闭子集，则称C是不可约闭集，或称不可约的，不可分的，最小的。 若整个状态空间是不可约的，则称此链为不可约马氏链。 A.有关闭集 B. 有关等价类 （2）一些重要结论 结论2 设C是闭集，当且仅当C中的任何两个状态都互通时， C是不可约的。 结论1 等价类若是闭集，则必定是不可约的。 结论3 齐次马氏链不可约的充要条件是它的任意两个状态均互通。 结论4 包含常返态的等价类是不可约闭集。 例1 其一步转移矩阵为 试研究各状态间的关系，并画出状态传递图。 解 先按一步转移概率，画出各状态间的传递图 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 由图可知 状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。 因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任何状态， 所以I