马尔科夫链课件.pptx

第十一章 马尔科夫链;马尔科夫链 时间和状态都是离散的马尔科夫过称 为马尔科夫链，简称马氏链。记为 {Xn(t)=X(n)，n=0,1,2,…}. 链的状态空间：I={a1 ,a2,… },ai? R ;条件转移概率;转移概率矩阵 由转移概率组成的矩阵 称为马氏链的转移概率矩阵 。此矩阵的每一行元素之和等于1。 当转移概率Pij(m,m+n)只与i,j及时间距n有关时，即当 时，称转移概率具有平稳性，同时也称此链 是齐次的或时齐的。;N步转移概率和n步转移矩阵;例1 （0-1传输系统）;矩阵分别为 和 例2 一唯随机游戏 设??醉汉Q在如下图点集I={1，2，3，4，5}上作随机游动，并且仅仅在1秒、2秒…等时刻发生游动。 规律是：(1)如果Q现在位于点I(1I5),则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；(2)如果Q现在位于1（或5）这点上，则下一时刻就以概率1移动2（或4）这一点上。1和5这两点称为放射壁。上面这种游动称为带有两个放射壁的随机游戏动;1 2 3 4 5;如果把一这一点改为吸收壁，即是说Q一旦到达1这一点，则就永远留在点一上，相应链的转移概率矩阵只须把p中的第一横行改为（1，0，0，0，0）。总之改变游动的概率规则，就可得到不同方式的随机游动和相应的马式链。 随机游动的思想在数值计算方法方面有重要应用。;例3 ：排队模型 服务系统组成：服务员（1个）和等候室（2人）组成， 服务规则：先到先服务。假定一顾客到达系统时发现系统内已有3个顾客，则该顾客即离去， 设时间间隔Δt内，有一个顾客进入系统的概率为q，有被服务的顾客离开系统的概率为p， 设当Δt充分小时，多于一个顾客进入或离开系统实际上是不可能的， 设有无顾客来到与服务是否完毕是相互独立。;设Xn X（n Δt ）表示时刻n Δt 时系统内的顾客数，即系统的状态， 是一随机过程，状态空间I={0,1,2,3} ，可知它是一个齐次马氏链。下面来计算此马氏链的一步转移概率。 P00表示在系统内没有顾客的条件下，经Δt 后仍没有顾客的概率（此处是条件概率，以下同） P00=1-q. P01---表示在系统内没有顾客的条件下，经Δt 后有一顾客进入系统的概率，P01=q. P10---系统内恰有一个顾客正在接受服务的条件下，经Δt 后;系统内无人的概率，它等于在Δt 间隔内顾客因服务完毕而离去 ，且无人进入系统的概率，P10=P（ 1 -q） P11—系统内恰有顾客的条件下，在Δt 间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要求服务，且无人进入系统的概率。 P11 =pq+(1-p)(1-q). P12---正在接受服务的顾客继续要求服务，且另一个顾客进入系统的概率P12=q(1-q). P13---正在接受服务的顾客继续要求服务，且在Δt 间隔内有两个顾客进入系统的概率 ，由假设，后者实际上是不可能发生的，P13 =0;类似地，有 P21 = P32=p(1-q). P22 =pq+(1-p)(1-q) , P23= q(1-p), Pij =0(|i-j |≥2). P33 :或者一人将离去且另一人将进入系统，或者无人离开的概率， P33 = pq+(1-p) 于是该马氏链的一步转移概率矩阵为 ;在实际问题中，一步转移概率通常可通过统计实验确定。 例4 某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1表示正常状态，用0表示不正常状态，所得的数据序列如下： 1110010011111110011110111111001111111110001101101 111011011010111101110111101111110011011111100111 设Xn为第n（ n =1，2…,97）个时段的计算机状态，可以认为它是一个马氏链，状态空间I={0，1}.96次状态转移的情况是：;0 →0,8次； 0 →1,18次； 1 →0,18次 ; 1 →1,52次. 因此，一步转移概率可用频率近似地表示为 ;马氏链的有限维分布，先看马氏链在任一时刻n∈ T1的 1)一维分布： 显然，应有 由全概率公式 即;一维分布也可用行向量表示成 P(n)=( P1(n)) , P2(n),… Pj(n),…) 这样，利用矩阵乘法（I是可列无限集时，仍用有限阶）矩阵乘法的规则