第101112讲马尔可夫过程小时.pptxVIP

2021/3/1; 马尔可夫过程的定义;马尔可夫过程通常分为三类： (1)时间、状态都是离散的，称为马尔可夫链 (2)时间连续、状态离散的，称为连续时间马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫过程;4.1 马尔可夫链与转移概率;马尔可夫链的性质 P{X0=i0,X1=i1,?,Xn=in} =P{Xn=in|X0=i0,X1=i1,?,Xn-1=in-1} P{X0=i0,X1=i1,?,Xn-1=in-1} = P{Xn=in|Xn-1=in-1} P{Xn-1=in-1 |X0=i0,X1=i1,?,Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} =? =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} ? P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的联合分布统计特性完全由条件概率P{Xn+1=in+1|Xn=in} 确定。;定义4.3 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，n?T }在时刻n的一步转移概率，简称转移概率，其中i,j?I。 定义4.4 若对任意的i,j?I，马尔可夫链{Xn,n?T }的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。 齐次马尔可夫链具有平稳转移概率， 状态空间I={1,2,3,?}，一步转移概率为;转移概率性质 (1) (2) P称为随机矩阵;定义4.5 称条件概率 = P{Xm+n=j|Xm=i}为马 尔可夫链{Xn，n?T }的n步转移概(i,j?I,m?0,n?1)。 n步转移矩阵 其中 P(n)也为随机矩阵;定理4.1 设{Xn，n?T }为马尔可夫链，则对任 意整数n?0,0?ln和i,j?I，n步转移概率 具 有性质 (1) (2) (3)P(n)=PP(n-1) (4)P(n)=Pn;证(1);(2)在(1)中令l=1,k=k1,得 由此可递推出公式 (3)矩阵乘法 (4)由(3)推出 说明： (1)此为C-K方程(切普曼-柯尔莫哥洛夫) (2) n步转移概率由一步转移概率确定，n步转移概率矩阵由一步转移概率矩阵确定(n次幂);初始概率 绝对概率 初始分布 绝对分布 初始概率向量 绝对概率向量; ;证(1) ; ;例4.1 无限制随机游动;n步转移概率: i经过k步进入j,向右移了x步,向左移了y步 则;例4.3 天气预报问题 RR表示连续两天有雨，记为状态0 NR表示第1天无雨第2天有雨，记为状态1 RN表示第1天有雨第2天无雨，记为状态2 NN表示连续两天无雨，记为状态3 p00=P{R今R明| R昨R今}=P{R明| R昨R今}=0.7 p01=P{N今R明| R昨R今}=0 p02=P{R今N明| R昨R今}= P{N明| R昨R今}=0.3 p03=P{N今N明| R昨R今}=0;类似地得到其他转移概率， 于是转移概率矩阵为 若星期一、星期二均下雨，求星期四下雨的概率;星期四下雨的情形如右， 星期四下雨的概率 2步转移概率矩阵为;例4.4 具有吸收壁和反射壁的随机游动状态空间{1,2,3,4}，1为吸收壁，4为反射壁 状态转移图 状态转移矩阵;4.2 马尔可夫链的状态分类;例4.5 设马尔可夫链的状态空间I={1,2,?,9}，转移概率如下图 从状态1出发再返回状态1的可能步数为T={4,6,8,10, ?}，T的最大公约数为2，从而状态1的周期为2;例4.6 状态空间I={1,2,3,4}，转移概率如图， 状态2和状态3有相同的周期d=2，但状态2和状态 3有显著的区别。当状态2转移到状态3后，再不 能返回到状态2，状态3总能返回到状态3。这就 要引入常返性概念。;由i出发经n步首次到达j的概率(首达概率) 规定 由i出发经有限步终于到达j的概率; 若fii=1，称状态i为常返的； 若fii1，称状态i为非常返的 i为非常返，则以概率1- fii不返回到i i为常返，则 构成一概率分布， 期望值 表示由i出发再返回到i的平均返回时间; 若?i?，则称常返态i为正常返的， 若?I