第三章_马尔科夫过程.doc

马尔科夫过程 第一节 随机过程的概念 随机系数 必然事件 自然界中出现的事件分为 不可能事件 随机事件 事物的变化过程 必然过程 随机过程 必然过程：有确定的变化形式，可以用精确的数学关系式来描述。如 随机过程：没有确定的变化形式，只能用随机函数来描述。例如：在24h内对某电网的负荷进行几天的观测，如下图所示： 随机系数：观测对象随时间的变化时不确定的，用表示。 现实：每次观测得到一个具体的系数，称为随机系数的一个“现实”。如： 参数。是随机变量，称为过程的参数，其所有可能的集合为“参数空间”或“时间空间”。 状态：随机函数在时刻的值，称为在时的状态。则所有可能的集合称为“状态空间”。 随机系数的分类 时间（分数）离散，状态空间离散 时间（分数）连续，状态空间连续 时间（分数）离散，状态空间连续 时间（分数）连续，状态空间离散 其中（1）与（4）研究的较多 随机系数的概率分布 当，时，的分布与历史时的关系，即根据过程的历史来确定的分布： 用条件概率来描述：（简化成） （1） 若在特定的情况下，的分布与过去的历史无关，则 称为过程独立（无记忆过程）。 若的分布只与过去的一部分历史有关，如只与最近一次时间的状态有关，而与以前所有时刻的状态都是无关，即  第二节 马尔科夫链 概述 将参数和状态空间都是系数的马尔科夫过程称为马尔科夫链。即为的概率分布，表明：只与有关。 为了方便，将现在的状态记为，未来时刻的状态记为，则上式可写成（从状态转移到状态） 条件概率称为过程从状态过渡到状态的转移概率。若=常数，则称此马尔科夫链式是时间齐次的，是在一步中完成从状态转移到状态的概率，称为一步转移概率。 若从到转移需要在步内完成，则步转移概率为： 例3-1：某人练习射击，如果他未击中，下次击中的概率有1/2。但若第一次击中（而提高了信心），则下一次击中的概率就会增到3/4。现设他第一次击中失败，求第3.、3、4、5次击中的概率是多少？ 解：这是一个具有双状态的离散马尔科夫过程。 “0”——成功，“1”——失败，两状态之间的转移可用图3-2表示 图3—2 状态转移图 图3—3 过渡特性 （第二步） 表3—1 各步状态概率 步数 “1”的概率 “0”的概率 1 0.5 0.5 2 1/4+1/8=0.375 1/4+3/8=0.62 3 0.344 0.656 4 0.336 0.664 总结： 设第0步的状态为1； 经有限步后的状态概率见表3—1； 图3—3的曲线描述了状态概率的过渡特性； 当步数增大时，状态概率趋于某一稳定值，且与初始状态无关。 2、转移矩阵和转移方程 接例3—1（射击） 转移概率可写成矩阵形式（两状态）： 若状态数为时，一步转移概率的矩阵形式： —是状态转移的概率矩阵，简称“转移矩阵”。 —称为从状态到状态的一步转移概率。 因此： 即：每行，的所有状态概率之和 二步转移概率: 步转移概率：，式中 —为可能的状态数（参见射击图） 称为马尔科夫方程或状态转移方程 步转移矩阵： 设某一系统或元件具有个状态，则其初始状态概率用一个概率向量表示： 则步后的状态概率向量： —步后系统的状态概率行向量 — 一步转移矩阵的次方 在例3—1中 一步转移矩阵为： 二步转移矩阵为： 若给定过程从初始状态“1”出发，则初始状态的概率向量： 两步后的状态概率向量： 说明：当初始状态为“1”时经两步后，处于“0”的概率为5/8=0.625，处于“1” 的概率为3/8=0.375。 当在第6、12步后，转移矩阵 即时，中的每一行都趋于同一稳定的转移概率向量 再增大值时，此值不变，无论初始状态是“0”，还是“1”。 根据上述特点，下面关系成立： 即：稳态下，再转一步，不变！ 直接求稳定状态的转移概率 由于： 则： 上述两式相同，故取其中一个等式 又因为 联立解得： 第三节 时间连续、状态离散的马尔科夫过程 概述 令，则转移概率可表示： （3—3） 若与无关，而只与过渡时间有关，则为“齐次马尔科夫过程”，则式（3—3）可写成： （3—4） 和 （3—5） 式中：——在内从状态转移到状态的概率 ——在内从转移到状态的概率 、 ——转移出度（常数） 上式可用图3—4来表示： 图3—4 状态转移图 则：， 转移矩阵和转移出度矩阵 设为元件故障率，为故障修复率，则双态马尔科夫模型： 图3—5 此处转移出度：或，为常数 转移（概率）矩阵：