马尔可夫链的概念及转移概率.docVIP

第四章 4.1 马尔可夫链的的概念及转移概率 一、知识回顾 二、马尔可夫链的的定义 三、转移概率 四、马尔可夫链的一些简单例子 五、总结  一、知识回顾 1. 条件概率 定义：设A，B为两个事件，且P(A)0，称 PBA=P(AB)P(A) 为事件A发生条件下B事件发生的条件概率。 将条件概率公式移项即得到所谓的乘法公式： PAB=P(A)P(B|A) 2.全概率公式 设试验E的样本空间为S，A为E的事件，若B1,B2，⋯，Bn为S的一个完备事件组，既满足条件： 1). B1,B2，⋯，Bn两两互不相容，即BiBj=∅，i≠j,i,j=1,2,⋯,n 2). B1∪B2∪⋯∪Bn=S，且有PBi0,i=1,2,⋯,n，则 PA=i=1nPBiPA|Bi 此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义 A=a11a12a13a21a22a23，B=b11b12b21b22b31b32C=c11c12c21c22 如果c11=a11×b11+a12×b21+a13×b31 c12=a11×b12+a12×b22+a13×b32 c21=a21×b11+a22×b21+a23×b31 c22=a21×b12+a22×b22+a23×b32 那么矩阵C叫做矩阵A和B的乘积，记作C=AB 4.马尔可夫过程的分类 马尔可夫