第5章马尔可夫过程讲解材料.pptVIP

第5章 马尔可夫过程;5 马尔可夫过程;5 马尔可夫过程;5.1 马尔可夫过程的定义;马尔可夫链 定义 5.1.3 参数集和状态空间都是离散的马尔可夫过程称为马尔科夫链 .为了讨论简单起见，在以后取马尔科夫链的状态空间为有限或可列无限，此时马尔可夫性可表示为 ; 特别地，取T={0,1,2,…}的马尔可夫链常记为{X(n),n≥0}或{Xn, n≥0}，此时马尔可夫性为?n≥1,i0 , i1,…, in∈S, P(X(n)=in|X(0)=i0 , X(1)=i1, …, X(n-1)=in-1) = P(X(n)=in|X(n-1)=in-1) （5.1.3） 或 P(Xn=in|X0=i0 , X1=i1,…, Xn-1=in-1) = P(Xn=in|Xn-1=in-1)