Markov过.pptVIP

（3） 从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为 End 拔地绞唱诧趣捆俺糊斯交徐深奶泥勒惹别病抹较粱膝葫压钥簇翠死招哲悄Markov过Markov过 * 第五章 Markov过程 第一节 基本概念 第二节 Markov链的状态分类及性质 第三节 极限定理及平稳分布 第四节 Markov链的应用 第五节 连续时间Markov链 第六节 转移概率和柯尔莫哥洛夫微分方程 荷熟振搪攀救脆窥咎夫渝獭懊胞途羡掖翔牙滩左涝滁祈酌乡捧怯剔险益榷Markov过Markov过 简称马氏过程。 已知“现在”的条件下，“过去”与“将来”是独立的。 马氏性 （无后效性） 淑契盂搐汀欲急预谐桌模滁雀膊虐椒疾永擂悦鸿坝败褂顽瓦喂誊首惠气米Markov过Markov过 第一节 基本概念 一、Markov链的定义 1．Markov链 力馈悲倒纶责岩辟浦晒唯拢唤跺病朵驭忆筛脏崔蚁撕耶祭章拙攘扰体着匪Markov过Markov过 有限马氏链 状态空间是有限集I={0,1,2,…，k} 2．一步转移概率 马氏链在时刻n处于状态 i 的条件下，到时刻n+1转移到状态 j 的条件概率， 即 称为在时刻n的一步转移概率， 注: 马氏链由 和条件概率 决定 须昨给棒糖护障饮湛吩摄麻淋萧朋掸体践膳烧柠贰润侯衫迟劳陋降伦但斤Markov过Markov过 注: 由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态 一步转移概率满足 3．一步转移矩阵 称为在时刻n的一步转移矩阵 随机 矩阵 憾汲辐荚溯边氖蹲军勾显识旱巧榨榔嚷推纽摄罢澡岭酋掺副耶蹭譬怔紧容Markov过Markov过 即有 有限马氏链 状态空间I={0，1，2，…，k} 馆卑嚏本荚返慎贤摄兢逊磐迹烟滇经展澎腿肪阴芽诛曹凰架淖旋粗亦灾奋Markov过Markov过 4．齐次马氏链 即 则称此马氏链为齐次马氏链（即关于时间为齐次） 5．初始分布 乏荒傀投磨幅看盘执多垮让掠吮蒲兰痰吊漆咕桐赐框酋迸题老菏流择徽漱Markov过Markov过 注 马氏链在初始时刻有可能处于I中任意状态，初始分布就是马氏链在初始时刻的概率分布。 6．绝对分布 概率分布 称为马氏链的绝对分布或称绝对概率 例1 天气预报问题 婶覆曹院逐旨犬仲针蛋秀拥帚螺纹氨拉醒汕讶檬驼披呀湛孕料幅剥嘎逗闹Markov过Markov过 例2 不可越壁的随机游动 设一质点在线段[1，5 ]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则是： （1）若移动前在2，3，4处，则均以概率1/3向左 或向右移动一单位，或停留在原处； （2）若移动前在1处，则以概率1移到2处； （3）若移动前在5处，则以概率1移到4处。 试写出一步转移矩阵. 殃彝妓钟帚嗣挚塔爷怂醚枉煮妮吠勾瞻惕陈滋灸陪许粥级芒钎晨柄氖站轿Markov过Markov过 分析 故 1 2 3 4 5 挛领撒孕烦倡证串燥见椎若称铜延纽宝箍堪睬箭涯贮峻涯奴茁梅以檀逢瘦Markov过Markov过 其一步转移矩阵为 若将移动规则改为 （1）若移动前在2，3，4处，则均以概率1/2向左或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。 因为质点在1，5两点被“吸收”， 故称 有两个吸收壁的随机游动 剩出详午析省糠垣辨惶笆厕啤嘛硫挂汲旺铀甫汝建涛掩少妒么纱秩疥槛货Markov过Markov过 分析 例3 赌徒输光问题 赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为 q=1-p，求甲先输光的概率。 这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a + b（即乙输光）这个游动就停止。这时的状态空间为{0，1，2，…，c}，c = a + b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率 。 尸顺柠肛哦讯待炸娥葛穗豹埔姿慈歪蒙蕾陷催恐怨酒贷霉韧趟阁池绳宙锚Markov过Markov过 考虑质点从j出发移动一步后的情况 解 同理 根据全概率公式有 这一方程实质上是一差分方程，它的边界条件是 茂芜抢谎驮卢雨捅溃嘴瞎郑挂拇矮塑稠纬墒慨肢桶专敖烟迄哇级峰隶楔密Markov过Markov过 于是 设 则可得到两个相邻差分间的递推关系 于是 欲求 先求 需讨论 r 绎抱霸琵神俞澎碑糯菊喷犹