应用随机过程介绍.ppt

* 96 次状态转移的情况: 因此, 一步转移概率可用频率近似地表示为: * 特点: 用行向量表示为 一维分布由初始分布和 转移概率矩阵决定 * 由以上讨论知,转移概率决定了马氏链的运动的统计规律. 因此, 确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一. * 设每一级的传真率为 p, 误码率为 q=1-p. 设一个单位时间传输一级, 只传输数字0和1的串联系统 ( 传输系统) 如图: 分析: 例2 * 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率 一步转移概率矩阵 * 在 传输系统中, 传输后的误码率; 系统经 n 级传输后输出为 1, 问原发字符也是 1 的 概率是多少? * 解 先求出 n 步转移概率矩阵. 有相异的特征值 所以可将 P 表示成对角阵 * 传输后的误码率分别为: * (2) 根据贝叶斯公式, 当系统经 n 级传输后输出为 1, 原发字符也是 1 的概率为: * 说明 n步转移概率矩阵为 矩阵一般可表示为: 对于只有两个状态的马氏链, 一步转移概率 * 推论3 若{?j , j?I}是马尔可夫链的平稳分布，则 所取的值与初始状态的分布无关。 证：由于： 故 * 例1 设马尔可夫链的转移概率矩阵为 求马尔可夫链的平稳分布及各状态的 平均返回时间。 即，经过无穷次转移后处于 状态的概率与初始 状态无关，与初始状态的分布也无关。 * 解 因为马尔可夫链是不可约非周期有限 状态的，所以平稳分布存在，设 则? = ? P，?1+?2+?3=1. 即 各状态的平均返回时间为 ? =(?1, ?2, ?3 ) * 例2 设马尔可夫链转移概率矩阵为 求每一个不可约闭集的平稳分布。 * 解 从状态转移图看出，状态空间可分解为 两个不可约常返闭集 C1={2,3,4} 和 C2={5,6,7}， 一个非常返集 N={1}。 在常返集上求平稳分布： * 在C1上，对应的转移概率矩阵为 C1上的平稳分布为：{0, 0.4, 0.2, 0.4, 0, 0, 0} 同理可求得 C2 上的平稳分布为 {0, 0, 0, 0, 1/3, 1/3, 1/3} * 三、(有限链)遍历性的充分条件 * 说明 2. 极限分布转化为了求解方程组. 3. 在定理的条件下马氏链的极限分布是平稳分布. * 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解 例3 四、应用举例 * 无零元,链是遍历的 * 代入最后一个方程 (归一条件), 得唯一解 * 所以极限分布为 这个分布表明 经过长时间游动之后, 醉汉 Q 位于点 2 (或 3 或 4 ) 的概率约为 3/11, 位于点 1 (或 5) 的概率约为 1/11. * 设一马氏链的一步转移概率阵为 试讨论它的遍历性. 解 例4 * 表明 此链不具遍历性. * 五、小结 遍历性的概念 则称此链具有遍历性. * (有限链) 遍历性的充分条件 作业1： 作业2：书习题5.7 * * 第七节 连续时间马尔可夫链 定义7.1 设随机过程{X(t)，t ?0 }，状态空间 及非负整数 i1,i2, ?,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} 则称{X(t)，t ?0 }为连续时间马尔可夫链。 I={0,1,2,?}，若对任意 0?t1 t2?tn+1 =P{X(tn+1)=in+1|X(tn)=in}， * 转移概率：在s时刻处于状态i，经过时间t后 转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 定义7.2 齐次转移概率(与起始时刻 s 无关，只 与时间间隔 t 有关) pij(s,t)=pij(t) 此时有转移概率矩阵P(t)=(pij(t)) ，i, j?I，t ?0. * 记 ?i 为过程在状态转移之前停留在状态i的时间， 则对s, t ?0 有 (1) (2) ?i 服从指数分布 证：(1) 事实上 s s+t 0 ?i i i i t i * * (2) 设?i的分布函数为F(x), (x?0), 则生存函数 由此可推出G(x)为指数函数，G(x)=e-?x, 则F(x)=1-G(x)=1- e-?x为指数分布函数。 G(x)=1-F(x) * 过程在状态转移之前处于状态i的时间?i服从指数分布 (1)当?i=?时， 状态i的停留时间?i 超过x的概率为0，则称状态i为瞬时状态； (2)当?i=0时， 状态i的停留时间?i 超过x的概率为1，则称状态i为吸收状态。 * 定理7.1 齐次马尔可夫过程的转移概率具有