草根学术 -- 马尔可夫链.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 的满足条件 的唯一解。 例1 考虑一个电话总机接到的呼唤流，以 表示这个总机在[0，t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。 当呼唤次数 时 转移概率 当 时 其状态空间I={0，1，2，…} 转移概率为 1．随机连续 则称{ }是随机连续的。 定理1 二、可尔莫哥洛夫微分方程 时间连续的齐次马氏链{ , }是随机连续的充要条件为：对任意的 ，有 随机连续直观意义 当系统经过很短时间，其状态几乎不变。 标准转移概率 若时间连续的齐次马氏链是随机连续的，则称其转移概率是标准的。 并且满足性质: 2．转移概率的性质 性质1 性质2 定理2 并且对任意 ，有 （2）对时间连续的齐次有限马氏链， ，有 若 注1 推论 则对任意 ，有 即 为吸收态 等价 它表明系统从状态i出发，是继续留在状态i，还是跳跃到状态j，在不计一个高阶无穷小时，决定于 与 注2 等价 跳跃强度 与 称为跳跃强度 3．密度矩阵 由跳跃强度 构成的矩阵 若对一切 ，有 由定理2推论可知 也称时间连续马氏链是保守的。 矩阵保守 时间连续的齐次有限马氏链是保守的。 4、可尔莫哥洛夫定理 则 推论 (1) (2) 注1 （1）与（2）两式分别称为可尔莫哥洛夫向前方程和向后方程， 其矩阵形式 （向前方程） （向后方程） 对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有 如何求 注2 在实际问题中往往是很困难。 但考虑到密度矩阵 ，是由 在 的导数组成， 即 所以实际问题中先得到 ，再算 注3 费勒已经证明了向后方程与向前方程有同一解 但具体应用哪一个方程组求解，要看具体问题而定。 设 状态空间I={0,1}时间连续马氏链 而由状态1转到0的概率为 且规定在 时间内，由状态0转到1的概率为 例2 两状态链 试求时间t时的转移概率 解 类似地 所以密度矩阵 于是相应的可尔莫哥洛夫前进方程是 即 据题意 有初始条件 解上列微分方程，可得满足此初始条件的解。 例如求 由 得 因此 或 于是 故 由 得 类似地可解得 三、生灭过程 生灭过程是一类特殊的连续马氏链，它有许多重要的应用。 设有同一类型的个体组成的一群体， 其每一个体在任意时间 内， 并设每一个体在此时间内也会死亡，且寿命服从参数为 的指数分布。 模型 含义 若它的转移概率满足 则称此链为齐次生灭过程 生率和灭率 生灭过程定 义 纯生过程 纯灭过程 由定义中的转移规则知，生灭过程的状态是互通的，并且在长为 的一小段时间内，若不计高阶无穷小，状态转移只有三种可能： 把 理解为t时刻某群体的个体总数，这时经过了 生出了一个个体 理解为经过了 ，死去了一个个体 密度矩阵 由 即 可得 可尔莫哥洛夫向前方程是 向后方程是 假定平稳分布 由 可得 由 可知 定理4 若其密度矩阵可表示成 其中 则 是生灭过程。 * * * * * * * * * * * 令 ，得 （因为 j 是非常返态） 显然此时有 定理2 若 j 是常返态，则 （1）若 ， 则有 （2）若 时（不可达）则有 证明（1）若 ，则 使得 而 故