第5章 马尔可夫链课件.pptVIP

CHAPTER 5 马尔可夫链; 随机过程 称为马尔可夫链，若 它只取有限或可列个值（称为过程的状态，记为0，1， 2，…），并且，对任意 及状态 ， 有; 定义 称 为n时刻 的一步转移概率。;4、马尔可夫链的例子;例2 M/G/1排队系统 假设顾客依参数为 的泊松过程来到一服务中心，只有一个服务员，来客发现服务员空着即刻得到服务；其他人排队等待服务。相继来到的顾客的服务时间Ti假定为相互独立的随机变量，具有共同的分布G；且假定他们与来到过程独立。 M/G/1排队系统中字母M代表顾客来到时间间隔服从指数分布， G代表服务时间的分布， 数字1代表只有一个服务员。 若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马尔可夫性。因为，若我们知道在t时刻系统中的顾客数，那么为了预测将来的状态，我们不用关心从最近的一位顾客来到后已过去了多长时间（因为来到过程是无记忆的），但和服务中的顾客服务了多长时间有关（因为服务时间分布不具无记忆性）。;Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则;例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。; pi0公式略有不同，它是服务台由有i个顾客转为空闲的 概率，即第n个顾客来到时刻到第n+1个顾客来到时刻之 间系统服务完的顾客数≥i+1。;例4 直线上的随机游动 （1）无限制的随机游动 设有一质点在数轴上随机游动，每隔一单位时间移动一次，每次只能向左或向右移动一单位，或原地不动。设质点在0时刻的位置为a,向右移动的概率为p，向左移动的概率为q，原地不动的概率为r(p+q+r=1),且各次移动相互独立，以Xn表示质点经n次移动后所处的位置，则{Xn,n≥0}是一马尔可夫链,转移概率为 Pi,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0 （2）带吸收壁的随机游动 设（1）中的随机游动限制在S={0,1,2, …b}，当质点移动到状态0或b后就永远停留在该位置，即p00=1, pbb=1，其余pij(1≤i,j ≤b-1)同（1），这时{Xn,n≥0}称为带两个吸收壁0和b的随机游动 ，它是一有限状态马尔可夫链。;例5 Polya（波利亚）模型; 下面的定理提供了一个非常有用的获得马尔可夫链的方法，并可用于检验一随机过程是否为马尔可夫链。 定理：设随机过程{Xn,n≥0}满足 （1） Xn=f(Xn-1,Yn),(n ≥1), 其中f:S× S→ S,且Yn取值在S上， （2） {Yn,n≥1}为独立同分布随机变量，且X0与{Yn,n≥1}也相互独立，则{Xn,n≥0}是马尔可夫链，其一步转移概率为 pij=P[f(i,Y1)=j] 证明：设n≥1 ，则Yn+1与X0, X1, …, Xn相互独立，事实上，;所以{Xn,n≥0}是马尔可夫链，且;二、切普曼-柯尔莫哥洛夫方程;为马尔可夫链{Xn,n≥0}的n步转移概率。记; 类似地可以证明马尔可夫链任意个时刻的联合分布也 完全由一步转移概率矩阵及初始分布向量决定。;3、定理：切普曼-柯尔莫哥洛夫方程（C-K方程）;证明：; 例（马尔可夫预测）某种鲜奶A改变了广告方式， 经调查发现购买A种鲜奶及另外三种鲜奶B、C、D的顾 客每两个月的平均转换率为：（假设市场上只有这4种 鲜奶） A → A（95%） B（2%） C（2%） D（1%） B → A（30%） B（60%）C（6%） D（4%） C → A（20%） B（10%）C（7%） D（0%） D → A（20%） B（20%）C（10%） D（50%） 假设目前购买A、B、C、D 4种鲜奶的顾客的分布为 （25%，30%，35%，10%），求半年后鲜奶A、B、C、 D的市场份额。;解 一阶转移矩阵为;则;（1）写出状态空间；（2）求P(2)；; 解 （1）记甲获得“负2分”为状态1，获得“负1分” 为状态2，获得“