马尔科夫理论浅析.docxVIP

马尔科夫理论浅析 引子：随机变量Xn表示第n年某个人的健康状况，Xn=1表示健康，Xn=2表示疾病，n=0，1……用ai（n）表示第n年处于状态i的概率，i=1，2，即ai（n）=p（Xn=i）.用Pij表示今年处于的状态i，明年的状态j的概率，i，j=1,2，即Pij=P(Xn+1=j|Xn=i).ai(n)称为状态转移概率。典型的跳蛙例子，Xn表示第n次跳青蛙所处的荷叶，第一次荷叶i，第二次荷叶j。（i，j=1,2,3,4……）.Pij表示状态转移概率，就是第n次在i荷叶上，第n+1次在j荷叶上，这个事情发生的概率。Pij=P(Xn+1=j｜Xn=i)。以上例子的时间和状态的参数都是离散的，并且状态随着时间的变化随时变化，这样的过程称之为马尔科夫链。马尔科夫链是最简单的马尔科夫过程。一般的马尔科夫过程所研究的时间是无限的，是连续变量，其数值是连续不断的，相邻两值之间可做无限分割，且做研究的状态也是无限多的。而马尔科夫链的时间参数取离散数值。马尔科夫过程有两个性质：“无后效性”，即事物将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关。以跳蛙为例，青蛙下一次所在的荷叶位置与他之前所在的荷叶位置无关，只和他现在所在的荷叶位置有关。“遍历性”，是指不管事物现在出于什么状态，在较长时间内，马尔科夫过程逐渐趋于稳定状况，而且与初始状况无关。四个分类: 按其状态空间 I 和时间参数集 T 是连续还是离散四类：时间参数T状态空间I离散连续离散马尔科夫链马尔科夫序列连续可列马尔科夫过程马尔科夫过程其中马尔科夫链是以马尔科夫性为核心概念的时间和状态均为离散的随机过程。而在我们经济的预测中时间和空间往往都是有限的。所以重点是马尔科夫链。数学表达：如果随机过程{ Xt, t∈T} , 满足条件: Xi = xi, 即过程在时刻t处于状态xi, 那么在下个时刻 t + 1 处于xj的概率是固定的Pij( t) :Pij( t) = P{ Xt + 1 = xj | X0 = x0,X1 = x1 ,…,Xt - 1 = xi - 1 ,Xt = xi}= P{ Xt + 1 = xj | Xt = xi}。马尔科夫矩阵及其计算：看一个简单的例子，两个状态K和L。现在发生概率转移。设四个转移概率Pkl，Pkk，Pll，Plk分别为1/2, 1/2, 2/5, 3/5. Pkk=1/2K Pkl=1/2Plk=3/5 L Pll=2/5据此我们可以列出一个简单的矩阵 K L K 1/2 1/2P= L 3/5 2/5以此类推到一般情况，系统的状态空间为E={E1，E2……En}，而每一个时间系统只能处于其中一个状态，因此每一个状态都有n个转向。　E1　E2　E3 …　En E1 　P11 P12 P13 … P1n E2　 P21 P22 P23 … P2nP= E3 P31 P32 P33 … P3n ┆ ┆ ┆ ┆ ┆ En Pn1 Pn2 Pn3Pnn 这样的矩阵叫做一步转移概率矩阵。此矩阵具有以下两个性质：?（1）非负性，Pij0,I,j=1,2……n.???（2）行元素和为1如果不是经过一步而是经过k步得到的转移概率。就称为k步转移概率。}，（） 称之为切普曼-柯尔莫哥洛夫方程式（C-K方程）m=1时就是一步转移概率。实际应用对马尔可夫过程的演变趋势和状态加以分析，用于预测事物未来状态的研究，称为马尔科夫预测法。特点：简便性，无需大量统计资料随机性，无法确切预知未来状态局限性，只适合马尔可夫过程应用举例：天气预报的预测问题。 如果明天是否有雨仅与今天的天气（是否有雨）有关，而与过去的天气无关，并设今日下雨，明日有雨的概率为=0.7，今日无雨明日有雨的概率为=0.4，又假定把有雨称为０状态天气，把无雨称为１状态天气；求今日有雨第四日仍然有雨的概率。提示：解：(n)表示n时的状态天气，则(n)是以{0，1}为状态空间的齐次马尔可夫链，它的一步转移矩阵为 则一步转移概率矩阵为两步转移四步转移矩阵所以今日有雨第四日仍有雨的改路是Poo4=0.5749相关模型：隐形马尔代夫模型 隐马尔可夫模型（Hidden Markov Model，HMM）是统计/view/96500.htm模型，它用来描述一个含有隐含未知参数的/view/163499.htm马尔可夫过程。它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些/view/1146822.htm概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐/view/2361814.htm马尔可夫模型是一个双重随机过程