随机过程5(1.3)分解.pptVIP

* §3 马尔可夫链的状态分类 1. 状态类型定义 定义1 该式表明状态i的首达概率构成一概率分布： 记相应的均值为： 有迟早概率的定义知： 若i是常返状态，有 定义：对状态 ，如果 ，则称i为常返的，如果 ，则称i为非常返的. 定义3：设状态i属于S是常返状态，若 ，则称i为正常返的.若 ，则称状态i为零常返的。 例：设齐次马尔科夫链 的状态空间为 ，一步转移概率矩阵为： 试分析哪些状态是常返的，哪些状态是非常返的. 1 2 3 4 0.5 1 0.5 0.5 0.5 2/3 1/3 0.5 故： 状态1是正常返的. 同理： 故： 故2是常返的，且是正常返的. 例：设齐次马氏链 的状态空间为 ，一步转移概率矩阵为： 试分析哪些状态是常返的，哪些是非常返的。 定义4 定理 6.3.1 引理6.3.1 证明 2.状态类型的判别 为了方便，引入矩母函数 规定 则，由 得： i=j时 由数学分析中的阿贝尔定理可得： (Doeblin公式) 证明思路 上极限存在