第五章2柯尔莫哥洛夫微分方程.ppt

应用例 解上述微分方程得 * * 信息工程学院四系三教 六、平稳分布 1、状态互通的定义 定义5.4 设 为连续时间马尔可夫链的转移概率，若存在时刻 和 ，使得 则称状态 i 与 j 是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。 * * 信息工程学院四系三教 六、平稳分布 定义 称概率分布 为连续时间马氏链　　　　　　的平稳分布 若 注意和离散时间马氏链平稳分布的比较 * * 信息工程学院四系三教 六、平稳分布 定理5.7 设连续时间的马尔可夫链是不可约的，则有下列性质： （1）若它是正常返的，则极限 存在且等于 。这里 是方程组 的唯一非负解。 * * 信息工程学院四系三教 六、平稳分布 此时称 是该过程的平稳分布，并且有 （2） 若它是零常返的或非常返的，则 * * 信息工程学院四系三教 七、应用举例 例5.2 考虑两个状态的连续时间马尔可夫链，在转移到状态1之前链在状态0停留的时间是参数为 的指数变量，而在回到状态0之前它停留在状态1的时间是参数为 的指数变量。 求此链的转移概率及平稳分布。 * * 信息工程学院四系三教 七、应用举例 解：显然该链是一个齐次马尔可夫过程，由题设知 从而 由定理5.3知 故其状态转移概率为 * * 信息工程学院四系三教 七、应用举例 由柯尔莫哥洛夫向前方程　　　　　　　得 * * 信息工程学院四系三教 七、应用举例 由 得 于是 * * 信息工程学院四系三教 七、应用举例 若记 则 而 故 * * 信息工程学院四系三教 七、应用举例 由对称性知 转移概率的极限为 由此可见，当 时， 的极限存在 且与i无关。 * * 信息工程学院四系三教 七、应用举例 由定理5.6知，平稳分布为 若取初始分布为平稳分布，即 则过程在时刻t的绝对概率分布为 * * 信息工程学院四系三教 信息工程学院四系三教 信息工程学院四系三教 信息工程学院四系三教 第五章 连续时间的马尔可夫链 连续时间马氏链的的定义及性质 1 柯尔莫哥洛夫微分方程 2 3 * * 信息工程学院四系三教 生灭过程 知识回顾 设参数集 状态集 定义5.1 称随机过程 为连续时间的马尔可夫链，若对任意 及任意 有 —马氏性 连续时间离散化 * * 信息工程学院四系三教 知识回顾 定义5.2 若（5.2）式的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 — 齐次性 其转移概率矩阵简记为 * * 信息工程学院四系三教 知识回顾 定理5.1 齐次马尔可夫过程的转移概率具有下列性质： 切普曼-柯尔莫哥洛夫方程的矩阵表示 连续时间的C-K方程 * * 信息工程学院四系三教 转移概率函数矩阵 已知对于简单函数方程 的通解为 ，且解由 确定 转移概率函数矩阵满足 可以猜测 * 信息工程学院四系三教 * 转移概率函数矩阵 其中 为常数矩阵，且 完全由矩阵 唯一确定 * 信息工程学院四系三教 * 转移概率函数的可微性 引理5.1 设齐次马氏过程满足