CH44.6-4.8上课精选.pptVIP

* * CH4 马尔可夫过程 4.6连续参数马尔可夫链及其基本性质 * * 4.6连续参数马尔可夫链及其基本性质 4.6.1.定义 则称该过程是连续参数的马尔可夫链，也称为纯不连续过程。 定义4.19：随机过程 的状态空间E为可数集，若 * * 连续参数的马尔可夫链的统计特性： 4.6连续参数马尔可夫链及其基本性质 4.6.1.定义 1、状态概率： 2、概率分布： ----初始分布 3、状态转移概率： * * 每一行之和为1 4、状态转移概率矩阵： 4.6连续参数马尔可夫链及其基本性质 4.6.1.定义 C-K方程： 4.6连续参数马尔可夫链及其基本性质 定义4.20：如果概率转移矩阵 与初始时刻s无关，称该马尔可夫链是齐次的或时齐的。分别简记转移概率与转移概率矩阵为 4.6.1.定义 易知转移矩阵 满足： （1）是随机矩阵： 有 且规定 （无穷单位阵），即, 4.6连续参数马尔可夫链及其基本性质 4.6.1.定义 通常假定连续参数齐次链 是随机连续的， 即, 或 也称满足标准性条件。 其实，标准性条件就是 在 右连续，其直观意 义是：在充分小的时段内，过程的状态不会突变。在绝大多数实际情形中，这样的假设是合理的。在物理过程中，在一个有限时间间隔内不可能有无穷次跳跃，在有限时间内仅允许有限次数的跳变。 * * 4.6连续参数马尔可夫链及其基本性质 2 满足 C-K（查普曼-柯尔莫哥洛夫）方程 即 且 4.6.1.定义 而且，连续参数齐次马尔可夫链的任意 n 个时刻的联合分布由 与 唯一确定。 * * 4.6连续参数马尔可夫链及其基本性质 4.6.2 齐次连续参数马尔可夫链的基本性质 互通是一种等价关系，通过互通可以将状态空间划分为若干个等价类，若所有状态彼此互通，整个状态空间是一个类，则称该马尔可夫链是不可约的。 4.6连续参数马尔可夫链及其基本性质 定义4.22 （1） （只与j 有关）则称该马尔可夫链是遍历的。 （2）若 存在，则 称为极限分布。 （3）若 ，概率分布满足 ，则称 为平稳分布。 4.6.2 齐次连续参数马尔可夫链的基本性质 定理4.16 对于连续参数的有限状态齐次马尔可夫链，若存在 ，使 时 ，则该链具有遍历性。且 是其极限分布，也是其唯一的平稳分布。 * * 4.6连续参数马尔可夫链及其基本性质 对于离散参数齐次链，任意n 步的转移概率矩阵可以由一 步转移概率矩阵获得，即 。对于连续参数齐 次链，研究任意 的转移概率矩阵 需要研究 在 时的微分性质。 4.6.3 Q矩阵 * * 4.6连续参数马尔可夫链及其基本性质 定理4.17 若过程是随机连续的， 满足 （1） 在 一致连续，即连续的状态是平滑的； （2） 在 处右导数存在，记为， 通常有限，（除E为无限可数时， 可能为 外）。 4.6.3 Q矩阵 * * 4.6连续参数马尔可夫链及其基本性质 满足下面的两条： （1） （2） 当状态有限时等号必定成立。 4.6.3 Q矩阵 证明：如果 可交换次序（比如状态有限时），由于， 是从状态i 转移到状态j 的速率； 是离开状态i的速率。 * * 4.6连续参数马尔可夫链及其基本性质 定义4.23 若过程是随机连续的，记 称为转移速率矩阵或密度矩阵，简称为Q矩阵。若对所有 都有 ，则称Q为保守的。 简单讲，Q矩阵是 在 处的导数，它在研究齐次连续参数马尔可夫链时是非常重要的。 4.6.3 Q矩阵 Q矩阵是常数矩阵 * * 4.6连续参数马尔可夫链及其基本性质 在研究连续时间链时不仅关心过程将转移到哪个状态，转移机率是多少，还关心它在当前状态上的逗留时间有多长。 令 它表示首次离开初始状态的时刻（即，初始状态上的逗留时间）。 由过程的马尔可夫性可知， 这正是指数分布特有的无记忆性质。可以证明， 在 状态上的逗留时间服从参数为 的指数分布，因此，平均逗留时间为 * * 4.6连续参数马尔可夫链及其基本性质 依据 的具体值可以得出下面结论： * * 4.6 连续参数马尔可夫链及其基本性质 定理4.18 若过程 是随机连续的且状态有限，则有， 注意到E为有限状态集，可令 对两边求极限，即得定理结论。（证毕）。 4.6.4 向前向后微分方程 * * 4.6 连续参数马尔可夫链及其基本性质 两个方程的分量形式为， 4.6.4向前向后微分方程 向前方程中微分处理在“未来”时段；而向后方程中微分 处理在“过去”时段。 * * 4.6 连续参数马尔可夫链及其基本性质 证明：由于 ，对其求导并代入柯尔莫哥洛夫向前方程，有 若 是平稳分布，则 。仿上有， 4.6.4 向前向后