随机过程4-5时间连续状态连续的马尔科夫过程，维纳过程.PPT

第4章 马尔科夫过程 第*页 一、马尔科夫过程的定义，转移概率密度 §5 时间连续状态连续的马尔科夫过程，维纳过程 本节讨论时间连续状态连续的马尔科夫过程 设状态空间 ，这种马尔科夫过程的定义要用到 条件分布函数或条件分布密度。为此，先回忆一下概率论 中的条件分布。 设随机矢量为 ，作 (5.1) 称之为在 条件下 的条件 分布函数。 若条件分布函数的导数 存在，则称此导数为在 条 件下 的条件分布密度。 (5.2) 定义 设随机过程 的状态空间 若对任意自然数 m, 以及任意 m 个 以及任意 s0，有 在条件 下的条件分布函数等于 在条件 下的条 件分布函数，即 (5.3) 其中 （5.4) 和 则称 X(t) 是马尔科夫过程。 （5.5) (5.3) （5．3）式表示过程的无后效性。需要指出，这种定义 马尔科夫过程的方式，亦适用马尔科夫链和时间连续状态 离散的马尔科夫过程。 （5．5）式给出的形式为 (5.6) 此式称为马尔科夫过程 X(t) 的转移概率分布函数。 它刻划在 时刻处于 状态条件下，时间进到 t 时刻时 过程状态的概率分布。 对 x 右连续; 对 x 非降; 显然，转移分布函数具有下列性质； 通常规定 (5.6) （注意时间 间隔为0） (5.6) 当（5. 6）式中转移概率分布函数仅与时间间隔 有关，而与转移的起始时刻 无关时，记作 或 (5. 9) 称 X(t) 为时齐马尔科夫过程。 (5. 8) 如果（5. 4）和（5. 5)式中条件分布函数对 x 的导数存在， 和 (5. 11) (5.12) 那么 X(t) 是马尔科夫过程的充分必要条件是 （5.13） 成立。这里 称为马尔科夫过程 X(t) 的 转移（概率）分布密度，即 记 (5. 10) 当转移分布密度仅与转移的时间间隔有关，而与起始时 刻无关时，记 此时马尔科夫过程是时齐的。 通常规定 (5.14) 其中 表示单位脉冲函数。这是由于要求在 t 时刻具有概率 分布 . 刻划马尔科夫过程状态转移的概率规律。 可作为时齐马尔科夫过程的转移分布密度。 例如,函数 二、切普曼——柯尔莫哥洛夫方程 定理1 设 是马尔科夫过程，则对 有 (5.16) 这个方程称为切普曼——柯尔莫哥洛夫方程。 特别地，对时齐马尔科夫过程有 (5.17) （5.16）和（5.17）式给出了转移概率密度之间的关系。 (5.16) 证：利用公式 得 (5.18) 此式中 由无后效性知 代入（5. 18）式，立即可得（5. 6）式。定理证毕。 对于时间连续状态连续的马尔科夫过程，它的转移概率 分布函数或分布密度如何确定呢？ 有类特殊的马尔科夫过程-扩散过程，它们分别满足两 个偏微分方程，统称为柯尔莫哥洛夫方程，其一为向前方 程，另一为向后方程。确定转移概率分布函数或分布密度 只要解柯尔莫哥洛夫方程即可。 三、维纳过程和布朗运动 在§3定理3中指出： 状态离散的平稳独立增量过程是状态离散的时齐马尔 科夫过程。 这个结论对连续状态的随机过程亦是正确的。 我们不加证明地给出如下定理。 定理2 设 是状态连续的平稳独立增量过程， 而状态空间 ，则它是时齐马尔科夫过程。 现在介绍维纳过程的定义。 定义? 设随机过程