5.2014时间连续马尔科夫链概论.pptVIP

例3 某一部电话在t时刻被使用时取 设有同一类型的个体组成的一群体， 其每一个体在任意时间内， 并设每一个体在此时间内也会死亡，且寿命服从参数为的指数分布。 模型 含义 第三节、 生灭过程（了解）生灭过程是一类特殊的连续马氏链，它有许多重要的应用。 若它的转移概率满足 则称此链为齐次生灭过程 生率和灭率 生灭过程定 义 首页 纯生过程 纯灭过程 由定义中的转移规则知，生灭过程的状态是互通的，并且在长为的一小段时间内，若不计高阶无穷小，状态转移只有三种可能： 把理解为t时刻某群体的个体总数，这时经过了生出了一个个体 理解为经过了，死去了一个个体 首页 密度矩阵 由 即 可得 首页 可尔莫哥洛夫向前方程是 向后方程是 假定平稳分布 由 可得 由 可知 首页 定理4 若其密度矩阵可表示成 其中 则是生灭过程。 首页 *教学内容： 第五章 马尔可夫过程 第1节 时间连续的马尔可夫链 第2节 柯尔莫哥洛夫微分方程 第3节 生灭过程 课程名称： 随机过程 讨论对时间连续状态离散的马尔可夫过程，取时间参数，状态空间I={0,1,2,…} 第1节 时间连续的马尔可夫链 1、定义 时间连续的马尔可夫链 转移概率 称为时间连续的马尔可夫链 I={ } 齐次马氏链 转移概率函数仅由t决定而与s无关 2．性质 性质 （定理5.1） 切普曼——柯尔莫哥洛夫方程 转移概率函数矩阵 定义 性质2 性质3 （遍历性定理） 马尔可夫定理 设{,}是状态空间I={1，2,…,N}的时间连续的齐次马氏链，则 的唯一解。 （j =1,2,…,N）叫平稳分布 例1 考虑一个电话总机接到的呼唤流，以表示这个总机在[0，t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且服从泊松分布，所以是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。 其状态空间I={1，2，…} 当呼唤次数时 转移概率 泊松过程为连续时间齐次马氏链 注 1．随机连续 则称{}是随机连续的。 引理1 第二节、柯尔莫哥洛夫微分方程 时间连续的齐次马氏链{,}是随机连续的充要条件为：对任意的，有 随机连续直观意义 当系统经过很短时间，其状态几乎不变。 2．转移概率的性质 性质1 性质2 定理5.3 称为马氏过程的速率函数。 性质2 成立 （2）对时间连续的齐次有限马氏链，，有 定义3 注1 注2 但考虑到密度矩阵，是由在的导数组成， 即 例2 填写速率矩阵Q的空白元素 等价它表明系统从状态i出发，是继续留在状态i，还是跳跃到状态j，在不计一个高阶无穷小时，决定于与 注3 等价跳跃强度与称为跳跃强度（速率函数） 3、柯尔莫哥洛夫定理 有 首页 上两式分别称为可尔莫哥洛夫向前方程和向后方程 （向前方程） （向后方程） 其矩阵形式 满足正则条件的时间连续的齐次马氏链的转移概率: 定理5.4（5) （向前方程） 对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有 如何求注1 在实际问题中往往是很困难。 但 所以实际问题中先得到，再算注2 费勒已经证明了向后方程与向前方程有同一解但具体应用哪一个方程组求解，要看具体问题而定。 连续马氏链是不可约、正常返的，则 有唯一解，称为平稳分布。 定理5.7 设状态空间I={0,1}时间连续马氏链 而由状态1转到0的概率为 且规定在时间内，由状态0转到1的概率为 例5.3 两状态链 试求时间t时的转移概率 首页 解 类似地 所以速率矩阵 于是相应的可尔莫哥洛夫前进方程是 即 首页 据题意 有初始条件 解上列微分方程，可得满足此初始条件的解。 例如求 由得 首页 因此 或 于是 故 由得 首页 类似地可解得 首页