随机过程讲义3.pptVIP

随机过程 一、概念： 4.绝对概率： 5.初始概率： 6.连续性条件： §3.1 基本概念及性质 二、基本性质： 1.转移概率的性质： 1). 2). 3). 注： 对马氏链，一步转移概率分布就决定了一切概 率分布。对纯不连续马氏过程情况会怎样？ §3.1 基本概念及性质 二、基本性质： 2．绝对概率与转移概率的关系 1). ， ， 2). 3).增量概率分解： §3.1 基本概念及性质 * * §2.2马氏链的状态分类 马氏链中有可数无穷（或有限）个状态，可按某种规律分类，同类的状态有相同的概率属性，可以在概率意义上研究马氏链的运动规律。 §2.2马氏链的状态分类 一、状态之间的关系 假定马氏链： 已知： 1.状态 i 可到状态 j ： 有 ，使 2.状态 i 不可到状态 j ： ， 3.i 与 j 互通 ： 若 ，且 4.例： P44. 例1 、例2 §2.2马氏链的状态分类 二、状态关联的性质 1.到达传递性：若 ， ，则 进一步： ， ，…， ，则 2.互通对称性：若 ，则 3.互通传递性：若 ， ，则 进一步： ， ，…， ，则 §2.2马氏链的状态分类 三、马氏链的分类 1.同类： 马氏链的所有状态构成一个集合，其中互通状态 （元素）的全体为同一类（它们有某种相同的概 率属性）。 2.辅助概念： a.首次到达时间： ， 即系统从 出发，首次到达 j 的时间。 §2.2马氏链的状态分类 三、马氏链的分类 2.辅助概念： b. ， 即系统从 i 出发，经过 n 步首次到达 j 的概率。 c. ， 即系统从 i 出发，至少到达 j 一次（最终能到 j ）的概率。 注：j = i 时，为返回 i 的概率 §2.2马氏链的状态分类 三、马氏链的分类 2.辅助概念： d.平均首次到达时间： e.平均首次返回时间： §2.2马氏链的状态分类 三、马氏链的分类 3. 的分解： ， §2.2马氏链的状态分类 三、马氏链的分类 4.分类：（状态） 1).状态 i 为常返的, 若 2).状态 i 为非常返的, 若 3).常返状态的细分类： §2.2马氏链的状态分类 四、状态常返性的判定 1.有限步状态转移概率与首次到达概率之间的关系 ， ，有 §2.2马氏链的状态分类 四、状态常返性的判定 2. 的递推求法： 递推过程： ， ， ，… §2.2马氏链的状态分类 四、状态常返性的判定 3.判定定理： 1).状态 j 常返的充要条件： 2).状态 j 非常返 在 j 为常返态的情况下： 3).状态 j 为正常返 4).状态 j 为零常返 §2.2马氏链的状态分类 五、关于状态常返与非常返的解释 1.状态 j 常返：系统从 j 出发，可能无穷次返回 j ,而且必然早晚返回 j 。 2.状态 j 非常返：系统从 j 出发，返回 j 只能有限次，最终不一定返回 j 。 §2.2马氏链的状态分类 六、互通的状态有相同常返性，即是同一类。 这意味着：若