运筹学 ch13马尔可夫链.pdf

运筹学 Operations Research 第十三章马尔可夫链 13.1 引 言 13.2 马尔可夫链 13.3 首次到达时间 13.4 马尔可夫分析的计算机程序 11.1 引言 Introduction CH13 马尔可夫链 2014年8月23 日星期六 Page 3 根据当前的状态和发展趋向去预测 未来的状态，这是管理决策中重要的 环节之一，马尔可夫分析就是这方面 常用的方法。 我们不断观察一个系统所处的状 态，这可以用一簇随机变量来表示， 这就是随机过程。 CH13 马尔可夫链 2014年8月23 日星期六 Page 4 定义1：具有标号的随机变量组{X }称为随 i 机过程，其中i ∈I 。 随机过程中，随机变量可取到的值称 为状态，其全部可能取值的集合称为状 态空间。标号（指标参数）全部可能取 值组成的集合I称为参数空间，参数空间I 常表示时刻。 CH13 马尔可夫链 2014年8月23 日星期六 Page 5 • 状态和参数，可以是离散的，也可以是连续的。 据此，可将随机过程分成四类： 即：1、参数空间，状态空间均离散； 2 、参数空间离散，状态空间连续； 3、参数空间连续，状态空间离散； 4 、参数空间、状态空间均连续。 例1：我们要了解某地区10月1 日一昼夜气温的变 化情况，就要观察气温这个随机变量的变化过 程，参数空间是时间区间[0，24 ），状态空间 是气体实数，它们都是非离散的随机过程。 CH13 马尔可夫链 2014年8月23 日星期六 Page 6 例2 ：某电话总机在[0，t ）这段时间内接到的呼 叫次数是随机变量，如果要了解总机的工作情 况，就要研究呼叫次数随时间变化的过程，参 数空间是时间区间[0，+∞),t在一段时间内连续 变化，而[0，t ）内的呼叫次数是离散的非负整 数，因此它是参数空间连续、状态空间离散的 随机过程。 例3 ：如果在上例中，每隔五分钟统计电话总机 接到呼叫的次数，则参数空间、状态空间都是 离散的随机过程。 我们将要讨论的是参数空间、状态空间都是离散 的情况，且一个系统可能的状态是有限的。 CH13 马尔可夫链 2014年8月23 日星期六 Page 7 我们要研究的问题是： 1、如果系统现在处于状态r,则从现在起n步以后， 系统处于状态s的概率是多少？即： 求状态r n步 状态s的概率p rs(n) 。 2 、很多步以后，系统处于状态s的概率是多少？ 即求p s(n) 。 3、如果系统现在处于状态r ，步数不断增加，系 统处于状态s的概率