ch13马尔可夫链.ppt

根据当前的状态和发展趋向去预测未来的状态，这是管理决策中重要的环节之一，马尔可夫分析就是这方面常用的方法。 我们不断观察一个系统所处的状态，这可以用一簇随机变量来表示，这就是随机过程。 定义1：具有标号的随机变量组{Xi}称为随 机过程，其中i∈I。 随机过程中，随机变量可取到的值称为状态，其全部可能取值的集合称为状态空间。标号（指标参数）全部可能取值组成的集合I称为参数空间，参数空间I常表示时刻。 状态和参数，可以是离散的，也可以是连续的。据此，可将随机过程分成四类： 即：1、参数空间，状态空间均离散； 2、参数空间离散，状态空间连续； 3、参数空间连续，状态空间离散； 4、参数空间、状态空间均连续。 例1：我们要了解某地区10月1日一昼夜气温的变化情况，就要观察气温这个随机变量的变化过程，参数空间是时间区间[0，24），状态空间是气体实数，它们都是非离散的随机过程。 例2：某电话总机在[0，t）这段时间内接到的呼叫次数是随机变量，如果要了解总机的工作情况，就要研究呼叫次数随时间变化的过程，参数空间是时间区间[0，+∞),t在一段时间内连续变化，而[0，t）内的呼叫次数是离散的非负整数，因此它是参数空间连续、状态空间离散的随机过程。 例3：如果在上例中，每隔五分钟统计电话总机接到呼叫的次数，则参数空间、状态空间都是离散的随机过程。 我们将要讨论的是参数空间、状态空间都是离散的情况，且一个系统可能的状态是有限的。 我们要研究的问题是： 1、如果系统现在处于状态r,则从现在起n步以后，系统处于状态s的概率是多少？即： 求状态r 状态s的概率p rs(n) 。 2、很多步以后，系统处于状态s的概率是多少？即求p s(n) 。 3、如果系统现在处于状态r，步数不断增加，系统处于状态s的概率，或者说步数不断增加，系统处于状态s的概率是否稳定。即： p rs(n) 或 p s(n) 是否存在，条件是什么？怎样求值？ 4、从状态r首次到达状态s的期望步数是多少？ 这些问题的研究是很有现实意义的，例如：根据市场统计了解到，目前某公司生产的商品占有一定的销路比例，我现在要预测，n步以后，该公司将占有的销路比例是多少？另外，参加竞争的商品占有销路的比例会稳定吗？ 我们关心的是分析这样一类系统，即系统的下一个状态与当前状态有关，而与系统以前状态完全无关，这样的随机过程称为马尔可夫过程。或马尔可夫链，它可用来回答上述问题和其它许多与动态系统有关的问题。 人们已用马尔可夫链来分析库存问题、商品销路问题、设备更新问题、人口增长问题、会计问题、工厂布局问题及有关动态系统的其它问题。 13.2 马尔可夫链 定义2:一阶马尔可夫性质。 如果xi+1的条件概率分布与系统在0，1，2，……，i-1步时的状态无关，仅与系统在第i步的状态有关，则称随机过程｛X i｝具有一阶马尔可夫性质。 用数学语言来表达为： 若p（xi+1 ＝s|x0＝t0,x1＝t1,……，xi-1= ti-1,xi=r）=p(xi+1 ＝s| xi=r),　则称随机过程｛X i｝具有一阶马尔可夫性质。 这就是说，对任意i, i +1步随机变量xi+1所处的某一状态的概率，仅受紧接在它前面的随机变量 xi 所处的状态影响，而与再前面的随机变量x0,x1,……xi-1所处的状态无关，这种性质就是所谓的“无后效性”。 概率p(xi+1 ＝s| xi=r)称为第i步的状态r转移到第i+1步的状态s的一步转移概率（One step probability）,它是已知xi 时xi+1 的条件概率。 上述随机过程为一阶、有限状态的马尔可夫链 第一步RM的销路分配比例p0(1) (第1步后处于状态0的概率) P0(1) =P0(0)P00(1) +P1(0)P10(1) +P2(0)P20(1) =0.35*0.9 +0.3*0.04 +0.35*0.15=0.3795 第一步MH的销路分配比例p1(1) p1(1) = p0(0)p01(1) + p1(0) p11(1) +p2(0)p21(1) =0.35*0.02 +0.3*0.87+0.35*0.12=0.31 第一步其他的销路分配比例 p2(1) p2(1) =p0(0)p02(1) +p1