马尔可夫过程资料.ppt

* 马尔可夫过程 * 马尔可夫过程是一种重要的随机过程，它具有如下特性：当随机过程在时刻ti所处的状态已知时，过程在时刻t(tti)所处的状态仅与过程在ti时刻的状态有关，而与过程在ti时刻以前所处的状态无关。此特性称为随机过程的无后效性或马尔可夫性。此特性也可理解为：随机过程X(t)在“现在”状态已知的条件下，过程“将来”的情况与“过去”的情况无关。或者说，过去只影响现在，而不影响将来。 1 马尔可夫过程 按其状态空间I和时间参数集T是连续还是离散可分成四类(如表1)。 讨论的内容： 定义：转移概率及转移概率矩阵；齐次性；平稳分布；遍历性； 其他性质。 P{将来|现在、过去}=P{将来|现在} 马尔可夫过程分类 * 离散 连续 马尔可夫链 马尔可夫序列 可列马尔可夫过程 马尔可夫过程 离散 (n=0,1,2,…) 连续 (t≥0) 状态空间I 分类名称 时间参数集T 表1 马尔可夫过程的分类 * 1、马尔可夫序列的定义 定义：若对于任意的n，随机序列{X(n)}的条件分布函数满足 则称此随机序列{X(n)}为马尔可夫序列。 条件分布函数FX(xn|xn-1)常被称为转移分布。 (2) 因此，利用条件概率的性质 (3) 结合式(2)可得 (4) 1.1 马尔可夫序列 对于连续型随机变量，由上式可得 * 所以，X1，X2，…，Xn的联合概率密度可由转移概率密度 fX(xk|xk-1)(k=2, …,n)和初始概率密度fX(x1)所确定。 1）马尔可夫序列的子序列仍为马尔可夫序列。 给定n个任意整数k1k2…kn,有 推广：多重马尔可夫序列。 二重马尔可夫序列满足 2）马尔可夫序列的逆序列仍为马尔可夫序列。 对任意的整数n和k，有 2、马尔可夫序列的性质 * 证：由式(7-4)知 * 3）马尔可夫序列的条件数学期望满足 如果马尔可夫序列满足 则称此随机序列为“鞅”。 4）马尔可夫序列中，若已知现在，则未来与过去无关。 若nrs，则假定Xr已知条件下，随机变量Xn和Xs是独立的。满足 证：由式(7-4)知 * 5）齐次性：对一般马尔可夫序列而言，条件概率密度fX(xn|xn-1)是x和n的函数，如果条件概率密度fX(xn|xn-1)与n无关，则称马尔可夫序列是齐次的。 6）平稳性：满足齐次性，且所有随机变量Xn具有相同的概率密度。 7）切普曼-柯尔莫哥洛夫方程 若一个马尔可夫序列的转移概率密度满足 其中nrs为任意整数，则称该方程为切普曼-柯尔莫哥洛夫方程。 证：对任意三个随机变量Xn,Xr,Xs, nrs,有 * 8）高斯-马尔可夫序列。 * 1、马尔可夫链的定义： 随机过程X(t)在时刻tn(n=1,2,…)的采样为Xn=X(tn),且Xn可能取得的状态必为a1, a2, …, aN之一，其中AI={a1, a2, …, aN}为有限的状态空间，I={1,2, …,N},随机过程只在t1, t2, …, tn, …可列个时刻发生状态转移。若随机过程X(t)在tm+k时刻变成任一状态aj的概率，只与过程在tm时刻的状态ai有关，而与过程在tm时刻以前的状态无关，则称此随机过程为马尔可夫链，简称为马氏链。 2、马氏链的转移概率及其转移概率矩阵 (1)马氏链的转移概率 马氏链“在tm时刻出现的状态为ai的条件下，tm+k时刻出现的状态为aj”的条件概率可用pij(m,m+k)表示，即 齐次马氏链：若pij(m,m+k)与m无关，即pij(m,m+k)= pij (k) k=1时，一步转移概率pij为： 7.1.2 马尔可夫链 * 由所有状态I={1,2, …,N}之间的一步转移概率pij构成的矩阵，称为马氏链的一步转移概率矩阵，即 此矩阵具有下列两个性质： 2、 1、 k=n时，n步转移概率pij(n)为： 对应的n步转移概率矩阵为： * 显然具有如下性质： 1、 2、 通常还规定： 对于n步转移概率，有切普曼-柯尔莫哥洛夫方程的离散形式 （4）n步转移概率与一步转移概率的关系： 证：由全概率公式可得 * 当l=1,k=1时 当l=1,k=2时 以此类推 * 同理可得离散切普曼-柯尔莫哥洛夫方程的矩阵形式为： 当n=2时 当n=3时 当n为任意整数时 （5）马氏链的有限维分布 1）初始分布 初始概率：马氏链在t=0时所处状态ai的概率 初始分布：所有初始概率的集合{pi} * 2）一维分布 马氏链在第n步所处状态为aj的无条件概率称为马氏链的“一维分布”， 也称为“状态概率”。表示为 由全概率公式，一维分布可表示为 若将一维分布表示成