第6章 马尔科夫模型 系统建模理论与方法 教学课件.ppt

* 第６章　马尔科夫模型 6.1　引言6.2　基本规律 6.3　状态转移概率矩阵 6.4　小结 6.1　引言  如果所考虑的系统是由同类事物组成，所关注的是同类事物之间的关系，而不是某事物总体随时间变化的情况，例如对电力负荷的预测关注的是电力在不同类别用户(民用、工业或商业)之间分配比例的变化，而不是总量需求增长的趋势，那么就可以用马尔科夫模型来分析它。当然也可以分别建立不同用户的需求变化模型，但是从系统的观点看，在建立整体的变化趋势模型的同时建立分配比例变化模型可能更有利于分析问题。 在很多领域建立同类事物的比例关系模型是很有意义的工作，例如，研究市场竞争时需要考虑某种商品的市场占有率，研究人才培养时需要考虑社会对不同专业人才的需求比例，企业发展中需要考虑合理的人才专业比例和年龄结构等。这些问题需要用马尔科夫模型来解决。 马尔科夫模型以数学上的马尔科夫过程为基础。既然是一种过程，那么它一定与时间有关，称时间为马尔科夫过程的参数。一般来讲，马尔科夫过程随时间变化是连续的，当过程参数取离散时间数值时，称之为马尔科夫序列。马尔科夫序列是另一类重要的时间序列，它的基本概念、基本定义、基本规律和研究的基本方法都与前面讨论的时间序列完全不同。通常不强调它的时间序列性，而关注它的所谓马尔科夫性，所以习惯上不再称它为时间序列而称它为马尔科夫序列。 6.2　基本规律 6.2.1　状态的分类 6.2.1　状态的分类 可以根据状态的转移情况对状态分类。如果对状态i和j，存在某个n≥1，使p(n)ij＞0，即从状态i出发，经过n步转移可以以正概率到达状态j，则称由状态i可达状态j，并记为i→j。反之，如果自状态i不可到达状态j，记为i→j，此时对一切n＞1，p(n)ij＝０。如果在状态空间I＝｛０，１，２，…｝中，在出现x(n)＝a以后，x(n+1),x(n+2),…都停留在a这个状态上，则把状态a称为吸收状态。 6.2.2　状态空间分解 由马氏空间的一些状态组成集合C，如果对任意i∈C和j?C，有pij＝０，则称C为闭的(或闭集)。由此，进一步可推出，对i∈C，j?C，有 p(２)ij＝∑∞k＝０pikpkj＝∑k∈Ｃpikpkj＋∑k?Cpikpkj＝０＋０＝０ 用归纳法可以证明 p(n)ij＝０，i∈C,j?C 即对i∈C,j?C，由状态i出发，不能到达状态j。 由此可得，对一切n≥1和i∈C，有 ∑j∈Cp(n)ij＝１ 显然，整个状态空间构成一个闭集，这是较大的闭集，另一方面，吸收状态也构成一个闭集，这是较小的闭集。除整个状态空间外，没有别的闭集的马尔科夫链称为是不可约的。 6.2.3　平稳分布  研究状态转换的次数很多(理论上趋于无穷)时，状态空间的分布情况在建模理论和实践中具有重要的意义。例如在一个稳定的市场中，同类而不同型号的产品应该具有相对稳定的市场占有率。这种占有率相当于马尔科夫链的平稳分布。这里，在理论上需要说明的是，在n→∞时，p(n)ij的极限在一定意义下总是存在，而且它的值与初始状态i无关，同时还要给出极限分布的一些性质。 6.3　状态转移概率矩阵 6.3.1　状态转移概率矩阵的性质6.3.2　状态转移概率矩阵求解6.3.3　齐次马尔科夫序列 6.3.1　状态转移概率矩阵的性质 设研究对象具有n个不同的状态e1,e2,…，en，它们组成研究对象的状态空间E。例如，可以认为在一个市场中n种型号的电视机组成电视机产品的状态空间；在一个单位中n个学历层次组成人才学历的状态空间等。组成状态空间的每种成分在时刻t都占有一定的比例，把这种比例记为s1(t),s2(t),…，sn(t)，这些比例构成t时刻的状态向量tSＴ 　tSＴ＝［s1(t),s2(t),…，sn(t)］ 当从t时刻过渡到t+1时刻时，各种状态所占有的比例都可能会发生变化，每种状态都有n种转向的可能(包括转向自身)。 设由状态i转向状态j的概率(也就是比例)为pij(i,j＝1,2,…，n)，那么所有的pij组成了状态转移概率矩阵 P＝p11p12…p1np21p22…p2n???pn1pn2…pnn(6-21) 有时，为了强调式(6-21)定义的状态转移概率矩阵P是从t时刻转向t+1时刻，把它记为tP。当tP≡P时，表明状态转移概率矩阵与时间无关，所描述的马尔科夫链就是齐次马尔科夫链。 6.3.2　状态转移概率矩阵求解 1.利用时序样本求P2.根据截面样本求P3.求解P的最小二乘法 1.利用时序样本求P 通过一个具体的例子说明求解的方法和步骤。 例6-1　设某企业的产品按月(时间点)统计的销售记录如表6-1所示。(1)对状态分类(2)绘制散点图(3)分别计算处在各种状态的点数(4)计算状态转移概率pij＝(5)预测 例6-1　设某企业