马尔科夫链例题课件.pptx

假设表示质点在时刻n所处的位置，分析它的概率特性。例1直线上带吸收壁的随机游动〔醉汉游动〕设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规那么是：〔1〕假设移动前在2，3，4处，那么均以概率向左或向右移动一单位；〔2〕假设移动前在1，5处，那么以概率1停留在原处。质点在1，5两点被“吸收〞12345前言：马尔可夫过程的描述分类

首页无记忆性未来处于某状态的概率特性只与现在状态有关，而与以前的状态无关，这种特性叫无记忆性〔无后效性〕。例4布朗运动

假设表示质点在时刻n所处的位置，求一步转移概率。引例例1直线上带吸收壁的随机游动〔醉汉游动〕设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规那么是：〔1〕假设移动前在2，3，4处，那么均以概率向左或向右移动一单位；〔2〕假设移动前在1，5处，那么以概率1停留在原处。质点在1，5两点被“吸收〞12345一步转移概率矩阵的计算

首页有两个吸收壁的随机游动其一步转移矩阵为状态空间I={1，2，3，4，5}，参数集T={1，2，3，………}，

例2．带有反射壁的随机游动设随机游动的状态空间I={0，1，2，…}，移动的规那么是：〔1〕假设移动前在0处，那么下一步以概率p向右移动一个单位，以概率q停留在原处〔p+q=1〕；〔2〕假设移动前在其它点处，那么均以概率p向右移动一个单位，以概率q向左移动一个单位。设表示在时刻n质点的位置，那么{，}是一个齐次马氏链，写出其一步转移概率。首页

qp右反射壁m-1mpq左反射壁120首页

pq反射壁1230首页

例3．一个圆周上共有N格〔按顺时针排列〕，一个质点在该圆周上作随机游动，移动的规那么是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。首页

4．一个质点在全直线的整数点上作随机游动，移动的规那么是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。首页

5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。假设在袋里有k个白球，那么称系统处于状态k，试用马尔可夫链描述这个模型〔称为爱伦菲斯特模型〕，并求转移概率矩阵。解这是一个齐次马氏链，其状态空间为I={0，1，2，…，a}一步转移矩阵是首页

练习题．扔一颗色子，假设前n次扔出的点数的最大值为j，就说试问是否为马氏链？求一步转移概率矩阵。I={1，2，3，4，5，6}首页

例1甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是，〔〕。设每局比赛后，胜者记“+1〞分，负者记“—1〞分，和局不记分。当两人中有一人获得2分结束比赛。以表示比赛至第n局时甲获得的分数。〔1〕写出状态空间；〔3〕问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？首页

解〔1〕记甲获得“负2分〞为状态1，获得“负1分〞为状态2，获得“0分〞为状态3，获得“正1分〞为状态4，获得“正2分〞为状态5，那么状态空间为一步转移概率矩阵首页

〔2〕二步转移概率矩阵首页

〔3〕从而结束比赛的概率；从而结束比赛的概率。所以题中所求概率为首页

分析例2赌徒输光问题赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为，求甲输光的概率。这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移〔即赢1元〕的概率为p，向左移〔即输1元〕的概率为q。如果一旦到达0〔即甲输光〕或a+b〔即乙输光〕这个游动就停止。这时的状态空间为{0，1，2，…，c}，c=a+b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率。首页

考虑质点从j出发移动一步后的情况解同理根据全概率公式有这一方程实质上是一差分方程，它的边界条件是首页

于是设那么可得到两个相邻差分间的递推关系于是欲求先求需讨论r首页

当而两式相比首页

故当而因此故首页

用同样的方法可以求得乙先输光的概率由以上计算结果可知首页

例3排队问题顾客到