2014第六章马尔可夫链介绍.pptVIP

二、状态的分类 定义6 设 为一马氏链，对任一状态i与j，称 为 自状态i出发首次进入状态j的时刻，或称为自i到j的首次到达时间（首达时）。 是一随机变量。另外， 可能永不取值 j，这时我们就规定 1 2 0 T00=1 T01=1 T21=2 T02=2 T11=2 T20=1 T22=3 引理1 从而 定义7 设 为一马氏链，对任一状态i与j，称 为 自状态i出发经过n步首次进入状态j的概率。 引理2 对任何状态 ，有 证明：因为 定义8 设 为一马氏链，对任一状态i与j，称 为 自状态i出发迟早要到达状态j的概率。 显然有 （i 不能到达 j 的概率） fjj 表示从 j 出发迟早返回 j 的概率 1 2 0 p1 p2 q2 q3 p3 q1 例： 定理5 的充要条件是 证明：充分性：若 ，则根据到达的定义，总存在某个 ，使 所以 这样 ，至少有一个为正（不为0），所以 必要性：若 ，则由 至少有一个 使 ，故 表示自状态i出发