马尔柯教材夫过程(设备可靠性教程07).pptVIP

马尔柯夫过程 潘尔顺 副教授 上海交通大学 工业工程与管理系 主要内容 基本概念 马尔柯夫过程 马尔柯夫状态转移图 马 柯夫转移矩阵 基本概念 基本概念 马尔柯夫过程 马尔柯夫过程 马尔柯夫过程 马尔柯夫过程 马尔柯夫状态转移图 马尔柯夫状态转移图 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 马尔柯夫转移矩阵 * * 随机过程（Random Process）—随机事件的变化过程。 随机过程无确定的变化形式及必然的变化规律，因而不可能用精确的数学关系式来表达，但可用随机函数来描述。 随机函数X(t)在时间t1时的取值，称为X(t)在t=t1时的状态，它也是随机变量，而t则称为过程参数。两者所有可能值的集合，分别称为“状态空间”和“参数空间” 当系统完全由定义状态的变量值来描述时，则称这个系统处于一种状态。当描述系统的变量从一种状态的特定值变化到另一种状态的特定值时，则称改系统实现了状态的转移。 马尔柯夫过程就是研究系统的“状态”与“状态”间的相互转移关系的。 状态转移图-图15-4 在系统可靠性的研究中，值得注意的一种性质就是随机变量X(t)在任意时刻tn时的状态X(tn)与过去所有时刻ti(1? i?n-1)时的状态X(ti)间的关系。对于这一性质，可用下述条件概率来描述： 当随机过程中出现的系统状态 已定时，则出现下一个系统状态X(tn)=xn的条件概率为 则称 当条件概率为 时，则称X(tn)与过去历史无关，即为独立随机过程 当条件概率为 时，则称X(tn)仅与前一状态X(tn-1)有关而与更前的状态无关。这一随机过程就是最简单的马尔柯夫过程，称为“一步马尔柯夫过程”或“简单马尔柯夫过程” 将上述过程推广到一般，则马尔柯夫过程是这样一种随机过程，即其随机变量在任意时刻tn时的状态X(tn)，仅与其前有限次数之内的状态X(tn-i-1), X(tn-i-2), …,X(tn-i)有关，而与以前的状态无关。 马尔柯夫过程所具有的这种更以前的各种状态不影响现状态X(tn)的性质，称为“马氏性”或“无后效性”，“无记忆性”。而马尔柯夫过程又称为“无记忆过程”。 为了方便，现将状态X(tn)记为j, X(tn-1)记为i，则式可写为 条件概率Pij称为过程从状态i到状态j的转移概率。 如果马尔可夫过程从一个给定状态向另一个状态转移的概率仅与两状态的相对时间有关，而与观测时刻无关，或具体观测时间变化时其转移概率值仍不变，即 则称为“稳态马而可夫过程”，“平稳~”，“齐次~”。 马尔可夫的状态转移，可用马尔可夫状态转移图来说明 例：一台可修复的设备存在着正常运行状态i和故障状态j间的状态转移问题。如果该设备在运行了一段时间后处于状态i的概率为2/3，则它转移到状态j的概率为1-2/3=1/3。简记为Pii=2/3，Pij=1/3。反之，如果该设备处于状态j而经过维修后转移到状态i的概率是3/4，那么它处于状态j的概率则为1-3/4=1/4，简记为Pji=3/4,Pjj=1/4 用马尔可夫状态转移图可以简单而清晰地反映这一过程。因此，在用马尔可夫过程求解系统或设备的状态概率时，应首先作出相应的状态转移图，并填入有关概率值，则会一目了然并方便求解。 i j 图2 马尔可夫状态转移图 图2所示的马尔可夫状态转移过程，也可用马尔可夫转移矩阵或简称“转移矩阵”，“概率矩阵”来表达： 矩阵中的元素均为转移概率，例如，Pij为由状态i至状态j的转移概率。矩阵行的位置为状态转移的起始位置，矩阵列的位置为状态转移的达到位置。 对于n状态的系统，若可能产生的状态为S1,S2,…,Sn，且在状态Si产生后，状态j产生的条件概率为Pij（转移概率），若由最初的分布中随机地选出Si的概率为ai，则当此事件群的条件概率为一定值且关系式 成立时，称此关系式为马尔可夫链。当可能产生的状态为有限个时，又称为有限马尔可夫链。 且有 n状态系统的转移矩阵为n?n的方阵 转移矩阵的各元素均为不大于1的非负元素，而每一行中的各元素之和均等于1。 系统初始状态的概率向量由分量组成： 当从某一状态I开始时，通常取该状态的概率分量Pi=1,而其它分量取为0 例题—某系统的状态转移图如图所示。若该系统的初始状态的概率向量 ，求各次转移后系统所处的状态。当 又该