随机状态转移模型MathematicalModeling正则链.ppt

Mathematical Modeling 2008 Mathematical Modeling 2008 Mathematical Modeling 2008 5.5 随机状态转移模型 5.6 马尔可夫链的应用模型 概率方法建模(二） 马氏链模型 系统在每个时期所处的状态是随机的。 从一时期到下时期的状态按一定概率转移。 下时期状态只取决于本时期状态和转移概率， 与以前的各时期状态无关。 描述一类重要的随机动态系统（过程）的模型 马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程 已知现在，将来与过去无关（无后效性） 人的健康状态随着时间的推移会随机地发生转变 ， 保险公司要对投保人未来的健康状态作出估计, 以制定保险金和理赔金的数额。 5.5 随机状态转移模型 问题背景 通过有实际背景的例子介绍马氏链的基本概念和性质。 例1. 人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为0.8, 而今年患病、明年转为健康状态的概率为0.7。 若某人投保时健康, 问10年后他仍处于健康状态的概率。 问题 5.5 随机状态转移模型 状态与状态转移 随机变量Xn：第n年的状态 今年处于状态i, 来年处于状态j的概率 :转移概率 状态概率 0.8 0.2 0.3 1 2 0.7 5.5 随机状态转移模型 Xn+1只取决于Xn和pij , 与Xn-1, …无关。 状态转移具有无后效性 状态与状态转移 第n+1年的状态概率可由全概率公式得 随机状态转移模型——马氏链模型 5.5 随机状态转移模型 n 0 a2(n) 0 a1(n) 1 设投保时健康 设投保时疾病 a2(n) 1 a1(n) 0 n??时状态概率趋于稳定值,稳定值与初始状态无关 3 … 0.778 … 0.222 … ∞ 7/9 2/9 0.7 0.77 0.777 … 0.3 0.33 0.333 … 7/9 2/9 1 0.8 0.2 2 0.78 0.22 ，给定a(0), 预测 a(n), n=1,2… 注 5.5 随机状态转移模型 状态与状态转移 ，给定a(0), 预测 a(n), n=1,2… 1 2 3 0.1 0.02 1 0.8 0.25 0.18 0.65 例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病 死亡为第3种状态，记 Xn=3~ 死亡 p11=0.8, p12=0.18, p13=0.02 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 问题 5.5 随机状态转移模型 n 0 1 2 3 ? a2(n) 0 0.18 0.189 0.1835 ? a3(n) 0 0.02 0.054 0.0880 ? a1(n) 1 0.8 0.757 0.7285 ? 设投保时处于健康状态，预测 a(n), n=1,2… 不论初始状态如何，最终都要转到状态3 ； 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态3不会转移到其它状态。 0 0 1 ? 50 ? 0.1293 ? 0.0326 ? 0.8381 ? 状态与状态转移 注 5.5 随机状态转移模型 基本方程 马氏链的基本方程 P n a n a ) ( ) 1 ( = + n P a n a ) 0 ( ) ( = 5.5 随机状态转移模型 正则链 : 从任一状态出发经有限次转移能以正概率到达另外任一状态（如例1）。 w ~ 稳态概率 马氏链的两个重要类型 w与a(0)无关 吸收链 存在吸收状态(一旦到达就不会离开的状态i