- 1、本文档共46页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第十一章 马尔科夫链;马尔科夫链
时间和状态都是离散的马尔科夫过称
为马尔科夫链,简称马氏链。记为
{Xn(t)=X(n),n=0,1,2,…}.
链的状态空间:I={a1 ,a2,… },ai? R
;条件转移概率;转移概率矩阵 由转移概率组成的矩阵
称为马氏链的转移概率矩阵 。此矩阵的每一行元素之和等于1。
当转移概率Pij(m,m+n)只与i,j及时间距n有关时,即当
时,称转移概率具有平稳性,同时也称此链
是齐次的或时齐的。;N步转移概率和n步转移矩阵;例1 (0-1传输系统);矩阵分别为
和
例2 一唯随机游戏 设??醉汉Q在如下图点集I={1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒…等时刻发生游动。
规律是:(1)如果Q现在位于点I(1I5),则下一时刻各以1/3的概率向左或向右移动一格,或以1/3的概率留在原处;(2)如果Q现在位于1(或5)这点上,则下一时刻就以概率1移动2(或4)这一点上。1和5这两点称为放射壁。上面这种游动称为带有两个放射壁的随机游戏动;1 2 3 4 5;如果把一这一点改为吸收壁,即是说Q一旦到达1这一点,则就永远留在点一上,相应链的转移概率矩阵只须把p中的第一横行改为(1,0,0,0,0)。总之改变游动的概率规则,就可得到不同方式的随机游动和相应的马式链。
随机游动的思想在数值计算方法方面有重要应用。;例3 :排队模型
服务系统组成:服务员(1个)和等候室(2人)组成,
服务规则:先到先服务。假定一顾客到达系统时发现系统内已有3个顾客,则该顾客即离去,
设时间间隔Δt内,有一个顾客进入系统的概率为q,有被服务的顾客离开系统的概率为p,
设当Δt充分小时,多于一个顾客进入或离开系统实际上是不可能的,
设有无顾客来到与服务是否完毕是相互独立。;设Xn X(n Δt )表示时刻n Δt 时系统内的顾客数,即系统的状态, 是一随机过程,状态空间I={0,1,2,3} ,可知它是一个齐次马氏链。下面来计算此马氏链的一步转移概率。
P00表示在系统内没有顾客的条件下,经Δt 后仍没有顾客的概率(此处是条件概率,以下同) P00=1-q.
P01---表示在系统内没有顾客的条件下,经Δt 后有一顾客进入系统的概率,P01=q.
P10---系统内恰有一个顾客正在接受服务的条件下,经Δt 后;系统内无人的概率,它等于在Δt 间隔内顾客因服务完毕而离去 ,且无人进入系统的概率,P10=P( 1 -q)
P11—系统内恰有顾客的条件下,在Δt 间隔内,他因服务完毕而离去,而另一顾客进入系统,或者正在接受服务的顾客将继续要求服务,且无人进入系统的概率。 P11 =pq+(1-p)(1-q).
P12---正在接受服务的顾客继续要求服务,且另一个顾客进入系统的概率P12=q(1-q).
P13---正在接受服务的顾客继续要求服务,且在Δt 间隔内有两个顾客进入系统的概率 ,由假设,后者实际上是不可能发生的,P13 =0;类似地,有
P21 = P32=p(1-q). P22 =pq+(1-p)(1-q) , P23= q(1-p), Pij =0(|i-j |≥2).
P33 :或者一人将离去且另一人将进入系统,或者无人离开的概率, P33 = pq+(1-p)
于是该马氏链的一步转移概率矩阵为 ;在实际问题中,一步转移概率通常可通过统计实验确定。
例4 某计算机机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机的运行状态,收集了24小时的数据(共作97次观察)。用1表示正常状态,用0表示不正常状态,所得的数据序列如下:
1110010011111110011110111111001111111110001101101
111011011010111101110111101111110011011111100111
设Xn为第n( n =1,2…,97)个时段的计算机状态,可以认为它是一个马氏链,状态空间I={0,1}.96次状态转移的情况是:;0 →0,8次; 0 →1,18次;
1 →0,18次 ; 1 →1,52次.
因此,一步转移概率可用频率近似地表示为
;马氏链的有限维分布,先看马氏链在任一时刻n∈ T1的
1)一维分布:
显然,应有 由全概率公式
即;一维分布也可用行向量表示成
P(n)=( P1(n)) , P2(n),… Pj(n),…)
这样,利用矩阵乘法(I是可列无限集时,仍用有限阶)矩阵乘法的规则
文档评论(0)