第十章-随机过程-2.pdf

§11.4 马尔可夫链 Markov Chain 马尔可夫过程及其概率分布 妞妞骑牛柳下走 „„ 妞妞机妞妞下走 „„ 妞妞骑妞妞妞笑 „„ 妞妞我要跟牛走 „„ 拐鸟在拐角上 马尔可夫过程及其概率分布 保险公司要对投保人未来的健康状态作出 估计, 以制订保险金和理赔金的数额 例1. 人的健康状况分为健康和疾病两种状态，设对特 定年龄段的人，今年健康、明年保持健康状态的概率 为0.8, 而今年患病、明年转为健康状态的概率为0.7， 若某人投保时健康, 问10年后他仍处于健康状态的概率 马尔可夫过程及其概率分布  由时刻 t 系统或过程所处的状态，可以决定系 0 统或过程在时刻 tt 所处的状态，而无需借助于 0 t 之前系统或过程所处状态的历史资料。 0  过程(或系统)在时刻 t 所处的状态为已知的条 0 件下，过程在时刻 tt 所处状态的条件分布与过 0 程在时刻 t 之前所处的状态无关。 0 就是在已经知道过程 “现在”的条件 下，其 “将来”不依赖于 “过去”。 马尔可夫过程及其概率分布 用分布函数表述： 设随机过程 X (t ),t T , 其状态空间为I ,   对参数集T中任意n个数值t t t , n 3, t T 1 2 n i P X (t ) x | X t x X t x P X (t ) x | X t x           n n 1 1 n1 n1 n n n1 n1 则称过程 X (t ),t T 具有马尔可夫性或无后效性，   并称此过程为马尔可夫过程。 马尔可夫过程及其概率分布 时间和状态都离散的马尔可夫过程称为 马尔可夫链，简称马氏链， 记为： {X =X(n),n=0,1,2,…}, n 参数集T={0,1,2,…}， 约定记链的状态空间为： I a ,a ,  a R  1 2  i 马尔可夫过程及其概率分布 马尔可夫链用条件分布律来表示为： 对任意的正整数n, r和0 t t t m;t ,m,m n T ， 1 2 r i 有：P X mn a j | X t1 ai1 , X t 2 ai2 ,X tr a