随机运筹学-5..ppt

随机运筹学 之5 马尔科夫过程 马尔科夫过程简介 马尔科夫过程是由前苏联数学家A.A.Markov在1906年首先提出和研究的一类重要的随机过程，并且因此而得名。 目前，已经成为内容十分丰富、理论上相当完整、应用十分广泛的一门数学分支。在自然科学、工程技术、信息理论、自动控制、数值计算、近代物理、交通运输、生物科学及经济管理各领域中都有广泛的应用，使得现代科学家与工程技术人员越来越重视马尔科夫过程的理论及其应用的研究。 壹、马尔科夫过程 一、随机过程 为了表示一个系统的特征，可以用一组随时间进程而变化的变量来加以描述。如果系统在任何时点上的特性或状态是随机性的，则系统的变化过程就对应于由一组随机变量构成的过程，即随机过程。 从理论上说，由一簇无穷多个随机变量组成的集合称为随机过程。通常记为{x（t），t∈T}，其中xt——在同一状态空间E中取值的随机变量；T— —参数集。 若T为可数参数集，则{x（t），t∈T}为离散参数的随机过程。若T为不可数参数集，则{x（t），t∈T}为连续参数的随机过程。 过程在各个时点上的状态空间可以是有限或可数多个离散性状态，也可以取任意连续性状态。 二、马尔科夫过程的定义 定义1 具有无后效性的随机过程称为马尔科夫过程，简称马氏过程。 定义2 无后效性是指：当过程在时刻tm所处的状态为已知时，过程在大于tm的时刻t所处状态的概率特性只与过程在tm时刻