《马尔科夫链例题》课件.pptx

若 表示质点在时刻n所处的位置，分析它的 概率特性。;;若 表示质点在时刻n所处的位置，求 一步转移概率。;;例2．带有反射壁的随机游动;;p;例3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。;4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。;5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。;练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，就说 试问 是否为马氏链？求一步转移概率矩阵。 ;;解;（2）二步转移概率矩阵;（3）;分析;考虑质点从j出发移动一步后的情况;于是;当;故;用同样的方法可以求得乙先输光的概率;例3 排队问题;解;所以转移矩阵为;;定理4.3 马尔科夫链的有限维分布： ;练习：马氏链的状态空间I={1，2，3}，初始概率为;例4;解;所以9月份市场占有率分布为;;2/3;例2;;3．常返态与瞬时态;5．正常返态与零常返态;;用极限判断状态类型的准则;例3;从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。;三、状态的周期与遍历;例4;从图可知，对任一状态 都有 ，;1/3;可讨论状态1;状态1是常返态;例1;所以;例2;解;由状态传递图;也可以利用定理1证明遍历性;解之得;（4）;例3;解;所以9月份市场占有率分布为;（4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。;例4 (书中69页例4.18）;的平稳分布得