马尔科夫链的状态分类要点.pptxVIP

马尔科夫链的状态分类要点;定理1;证3;说明;吸收态;例1;2/3;例2;;二、首达时间和状态分类;自状态 i出发，经过n步首次到达状态j 的概率;对于首次到达时间;2．首次到达分解式;说明;必要性;3．常返态与瞬时态;这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。;定理5;说明;故得;4．状态空间的分解;证;5．正常返态与零常返态;定理9;由定理9，上式第一项有;说明;定理10;6．有限马氏链;例3;从图可知，此链的每一状态都可到达另一状态，即4个状态都是互通的。;类似地可求得;例4 ;类似地可证;由定义知状态0为常返态。;三、状态的周期与遍历;证;（2）;例5;从图可知，对任一状态 都有 ，;习题课;;2．带有反射壁的随机游动;p;3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。;4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。;5．设袋中有a个球，球为黑色的或白色的，今