随机运筹学-5.ppt

随机运筹学 之5 马尔科夫过程 马尔科夫过程简介 马尔科夫过程是由前苏联数学家A.A.Markov在1906年首先提出和研究的一类重要的随机过程，并且因此而得名。 目前，已经成为内容十分丰富、理论上相当完整、应用十分广泛的一门数学分支。在自然科学、工程技术、信息理论、自动控制、数值计算、近代物理、交通运输、生物科学及经济管理各领域中都有广泛的应用，使得现代科学家与工程技术人员越来越重视马尔科夫过程的理论及其应用的研究。 壹、马尔科夫过程 一、随机过程 为了表示一个系统的特征，可以用一组随时间进程而变化的变量来加以描述。如果系统在任何时点上的特性或状态是随机性的，则系统的变化过程就对应于由一组随机变量构成的过程，即随机过程。 从理论上说，由一簇无穷多个随机变量组成的集合称为随机过程。通常记为{x（t），t∈T}，其中xt——在同一状态空间E中取值的随机变量；T— —参数集。 若T为可数参数集，则{x（t），t∈T}为离散参数的随机过程。若T为不可数参数集，则{x（t），t∈T}为连续参数的随机过程。 过程在各个时点上的状态空间可以是有限或可数多个离散性状态，也可以取任意连续性状态。 二、马尔科夫过程的定义 定义1 具有无后效性的随机过程称为马尔科夫过程，简称马氏过程。 定义2 无后效性是指：当过程在时刻tm所处的状态为已知时，过程在大于tm的时刻t所处状态的概率特性只与过程在tm时刻所处的状态有关，而与过程在tm时刻以前的状态无关。 例 某企业实行技术人员在生产部门、技术部门和销售部门轮换工作的制度，以便使技术人员具有多方面的实际工作经验。轮换的办法是采取随机形式，每半年轮换一次。每个技术人员下一轮所去的部门并不是机会均等的，也可能在原部门再工作一轮。 三、马尔科夫过程的类型 对马尔科夫过程{X（t），t∈T}，按参数集T和状态空间（值域）S的情况一般可分为下列四类： 1、时间离散、状态离散的马尔科夫过程 通常将这类马尔科夫过程称为马尔科夫链，简称马氏链。 2、时间离散、状态连续的马尔科夫过程 3、时间连续、状态离散的马尔科夫过程 4、时间连续、状态连续的马尔科夫过程 四、实例 例1 （直线上的随机游动）一个质点在零时刻处于实数轴上的原点的位置。每隔单位时间右移或 左移一个单位长度，右移的概率为p（0 p 1 ），左移的概率为q，其中q=1-p。记质点在第n时刻的位置为X（n），n=0，1，2，…。质点在直线上的移动是随机的，故称之为质点在直线上的随机游动。 例2 电话交换站在t时刻前来到的呼唤次数X（t）（即时间[0，t]内来到的呼唤数）是一个随机过程。已知现在tm时刻前来到的呼唤次数，未来时刻t（t tm）前来到的呼唤数只依赖于tm时刻前来到的呼唤数，这是因为[0，t]内来到的呼唤数等于 [0，tm]时间内来到的呼唤次数加上（tm，t]时间内来到的呼唤数，而（tm，t]时间内来到的呼唤数与tm以前来到的呼唤数相互独立。因此，X（t）具有无后效性，是马尔科夫过程。 例3 （布朗运动）将一颗小花粉放在水面上，由于水分子的冲击，使它在液面上随机地运动。这种游动物理上称为布朗运动。在水面上作一平面直角坐标系，不妨取花粉的起始位置为坐标原点。考察在t时刻花粉所处位置的x坐标，记为X（t）。由于tm时刻后花粉的位置仅依赖于现在（ tm时刻） 的位置，而与过去花粉的位置无关，所以花粉随机游动具有无后效性。因而，X（t）也具有无后效性，是马尔科夫过程。同样地，花粉位置的Y（t）也是马尔科夫过程。 例4 （疾病死亡模型，Fix-Neyman（1951））考虑一个包含两个健康状态S1和S2以及两个死亡状态S3和S4（即由不同原因引起的死亡）的模型。若个体病愈，则认为它处于状态S1；若患病，则认为它处于S2，个体可以从S1和S2进入S3和S4。这是一个马尔科夫过程。 例5 （赌徒破产或带吸收壁的随机游动）系统的状态是0到n，反映赌博者A在赌博期间拥有的钱数，当他输光或拥有钱数为n时，赌博停止；否则，他将持续赌博，每次以概率p赢得1，以概率q=1-p输掉1。这个系统也是马尔科夫过程。 例6 例5中当A输光时，将获得赞助1让他继续赌下去，其余条件不变，则这个也是马尔科夫过程。 例7 （自由随机游动）设一个球在全直线上做无限制的随机游动，它的状态为0，±1，±2，…。这个系统也是马尔科夫过程。 贰、马尔科夫链 一、马尔科夫链的定义 定义1 设随机序列{X（n），n=0，1，2，…}的离散状态空间为E。若对于任意m个非负整数n1，n2，…，nm（ 0≦n1n2…nm）和任意自然数k，以及任意i1，i2，…，im，j∈E，满足P{X（nm+k）=j|X（n1）=i1，X（n2）=i2，… ，X（nm）=im}=P{X（nm+k）=j|X（nm）=im}