《马尔科夫链例题整理》.pptVIP

若 表示质点在时刻n所处的位置，分析它的 概率特性。;;若 表示质点在时刻n所处的位置，求 一步转移概率。;首页;例2．带有反射壁的随机游动;;p;例3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。;4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。;5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。;练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，就说 试问 是否为马氏链？求一步转移概率矩阵。 ;例1;解;（2）二步转移概率矩阵;（3）;分析;考虑质点从j出发移动一步后的情况;于是;当;故;用同样的方法可以求得乙先输光的概率;例3 排队问题;解;所以转移矩阵为;证;定理4.3 马尔科夫链的有限维分布： ;练习：马氏链的状态空间I={1，2，3}，初始概率为;例4;解;所以9月份市场占有率分布为;例1;2/3;例2;1;3．常返态与瞬时态;5．正常返态与零常返态;例;用极限判断状态类型的准则;例3;从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。;三、状态的周期与遍历;例4;从图可知，对任一状态 都有 ，;1/3;可讨论状态1;状态1是常返态;例1;所以;例2;解;由状态传递图;也可以利用定理1证明遍历性;解之得;（4）;例3;解;所以9月份市场占有率分布为;（4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。;例4 (书中69页例4.18）;的平稳分布得;dsfdbsy384y982ythb3oibt4oy39y409705923y09y53b2lkboi2y58wy0ehtoibwoify98wy049ywh4b3oiut89u983yf9ivh98y98sv98hv98ys9f698y9v698yv98x98tb98fyd98gyd98h98ds98nt98d8genklgb4klebtlkb5k tkeirh893y89ey698vhkrne lkhgi8eyokbnkdhf98hodf hxvy78fd678t9fdu90gys98y9shihixyv78dfhvifndovhf9f8yv9onvkobkw kjfegiudsfdbsy384y982ythb3oibt4oy39y409705923y09y53b2lkboi2y58wy0ehtoibwoify98wy049ywh4b3oiut89u983yf9ivh98y98sv98hv98ys9f698y9v698yv98x98tb98fyd98gyd98h98ds98nt98d8genklgb4klebtlkb5k tkeirh893y89ey698vhkrne lkhgi8eyokbnkdhf98hodf hxvy78fd678t9fdu90gys98y9shihixyv78dfhvifndovhf9f8yv9onvkobkw kjfegiu dsfdbsy384y982ythb3oibt4oy39y409705923y09y53b2lkboi2y58wy0ehtoibwoify98wy049ywh4b3oiut89u983yf9ivh98y98sv98hv98ys9f698y9v698yv98x98tb98fyd98gyd98h98ds98nt98d8gen;56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm56384866666gjfdghmghm;￥1111111111111111111111111111111222222222222222222222222222