随机过程马尔可夫过程PPT.ppt

;;注:;注:;即有;例1 不可越壁的随机游动;分析;其一步转移矩阵为;分析;考虑质点从j出发移动一步后的情况;于是;当;故;用同样的方法可以求得乙先输光的概率;例3 排队问题;解;所以转移矩阵为;说明：;则;性质3;则;则;在马氏链的研究中，须研究“从已知状态i出发，经过n次转移后，系统将处于状态j”的概率.;显然有;3．绝对概率公式;4．切普曼---柯尔莫哥洛夫方程;注;注;例4;解;（2）二步转移概率矩阵;（3）;第二节 马尔可夫链的状态分类;定理1;证3;说明;吸收态;例1;2/3;例2;1;二、首达时间和状态分类;自状态 i出发，经过n步首次到达状态j 的概率;对于首次到达时间;2．首次到达分解式;说明;必要性;3．常返态与瞬时态;这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。;定理5;说明;故得;4．状态空间的分解;证;5．正常返态与零常返态;定理9;由定理9，上式第一项有;说明;定理10;6．有限马氏链;例3;从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。;类似地可求得;例4 ;类似地可证;由定义知状态0为常返态。;三、状态的周期与遍历;证;（2）;例5;从图可知，对任一状态 都有 ，;习题课;;2．带有反射壁的随机游动;p;3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。;4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。;5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。;1/3;可讨论状态1;状态1是常返态;7．设马氏链的状态空间I={1，2，3，4，5}，其一步转移矩阵为;对于任意 有， 即I为不可再分闭集。;8．设马氏链的状态空间为I = {1，2，3}，其一步转移矩阵为;9．设马氏链的状态空间为I = {1，2，3，4}，其一步转移矩阵为; 第三节 平稳分布与遍历性;绝对概率公式;从而得;二、遍历性;定理1;例1;所以;定理2;例2;解;并作出状态传递图;（2）可以利用定理证明遍历性;解之得;（4）;例3;解;所以9月份市场占有率分布为;（4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。;讨论对时间连续状态离散的马尔可夫过程，取时间参数 ，状态空间I={0,1,2,…};齐次 马氏链;性质2;性质4;的满足条件;当呼唤次数 时;1．随机连续;标准转移概率;（2）对时间连续的齐次有限马氏链， ，有;等价 ;若对一切 ，有;推论;对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有;设 状态空间I={0,1}时间连续马氏链;解;据题意;因此;类似地可解得;设有同一类型的个体组成的一群体，;若它的转移概率满足;纯生过程;密度矩阵;可尔莫哥洛夫向前方程是;假定平稳分布;定理4;;第一节 二阶矩过程;例1;性质;说明;第二节 均方极限;二、均方收敛准则;又由;注;性质2;性质3;性质4;第三节 均方连续性;二、均方连续准则;再证必要性;再由均方收敛性质2，得;定理3;例1;同样;第四节 均方导数;二次均方可微;二、均方可微准则;三、均??导数的性质;性质3;其它类似可证;四;2.;注;即;注;第五节 均方积分;二、均方可积准则;如果上式极限存在，其极限值就是黎曼积分;定理2;性质2;性质4;证;2．均方积分的方差及协方差函数;注;证;例1;例2;例3;同样可得;第六节 均方黎曼—司蒂吉斯积分;2、Rieman—Stieltjes积分;则;则 存在;定理3;第七节 均方导数与均方积分的分布;（2）;二、正态过程的均方导数、积分的性质;性质3;（2）;第八节 均方微分方程 ;（在 与 独立时 ）;微分方程的解