随机过程5.2.ppt

§5.2 离散参数马氏链 5.2.1 离散参数马氏链的定义 设{X(t),t∈T}为马氏过程, “过程在 t 时刻处于状态x ”; 记 E={x X(t)=x, t∈T} 称为过程的状态空间. 若E 是可数集, 称{X(t),t∈T}是马氏链. 若指标集T 是可数集, 称{X(t),t∈T}是马氏序列. 本节讨论状态空间E和参数集T都是可列集的马尔科夫链. 马尔科夫链的理论系统而深入，在自然科学、工程技术及经济管理各领域有广泛的应用. 定义5.2.1 设{X(n), n≥0} 为随机变量序列, 状态空间E={0,1,2,…},如果对于任意非负整数 k 及n1 n2… nrm，以及 P{X(m+k)=im+k| X(n1)=i1, …,X(nr)=ir,…, X(m)=im} = P{X(m+k)=im+k| X(m)=im} 成立,称{X(n), n≥0} 为离散参数马氏链. 定义5.2.2 (等价定义) 随机变量序列{X(n), n≥0} 的状态空间E={0,1,2,…},如果对于任意非负整数m，以及 P{X(m+1)= im+1| X(m)= im ,X(m－1)=im－1, …,X(0)=i0} = P{X(m+1)=im+1| X(m)=im} 成立,是{X(n), n≥0} 为离散参数马氏链的充分必要条件. 注 必然性显然，充分性自证. 定义5.2.3 设{X(n):n≥0} 为马氏链, 状态空间为E={0,1,2,…},称条件概率 为马氏链在m 时刻的k步转移概率. 特别 称为一步转移概率. 表示在时刻m 时X(m)取 i 值的条件下，在下一时刻m+1时 , X(m+1)取j 值的概率. 定义5.2.4 称矩阵 为马氏链 {X(n):n≥0}在时刻m的k步转移矩阵. 凡满足以上两条的行向量称为概率向量. 称矩阵A=(aij)为随机矩阵, 若 转移矩阵P 是随机矩阵. 转移矩阵P 的行向量都是概率向量. 当k=1时, 称 称为一步转移矩阵，简称转移矩阵. 1 2 3 状态空间 E={1, 2, 3 } , X(n)为第n 次观察时 老鼠所处位置. EX.1 迷宫问题 定时观察老鼠位于哪一个房间？ 根据全概率公式，对j =1, 2, 3有 记 在时刻n, 老鼠处于各状态的概率只与第n－1次时所处状态与转移概率有关，而与第n－1次前的状态无关. 老鼠的随机转移状态运动过程是一个马氏链. EX.2 设X(n), n=1,2, …是相互独立随机变量, 令 证 另一方面 比较(1)和(2) 知 EX.3 另一类迷宫问题 假设在三个分隔间的第3间放有食物, 当老鼠到达第3分隔间, 受到食物吸引不再运动到其他房间. 分析 状态空间E={1,2,3}，有p33=1, p3j=0, j =1, 2. 1 2 3 其转移矩阵形如 称状态3为吸收状态. EX.4 醉汉问题 酒吧 家 1 2 3 4 5 醉汉在街上徘徊, 在每一个街口以1/3的概率停下, 以1/3的概率向前或向后. 若他又返回酒吧或到家门, 不再游动 . 状态空间为E=｛1,2,3,4,5｝ 运动的转移矩阵为 有两个吸收状态“1”和“5” 若不许他再进入酒吧, 又被家人赶出门, 则转移矩阵为 称状态“1”和“5”是反射状态. EX.5 Polya模型（传染病模型） 设坛子中有b个黑球 , r 个红球. 从坛子中随机地摸出一个球，然后将球放回并加入c 只同色球， 如此取和放 , 不断进行下去. 研究坛子中黑色球个数. 分析 设X(n)表示第n次摸球后坛子中的黑球个数.每取放一次后黑球或者增加 c 个黑球, 或者不变. 显然, {X(n), n≥1}是马氏链. 定理5.2.1 马氏链{X(n),n≥0}的k步转移概率满足切普曼－柯尔莫哥洛夫方程 分析 需用概率式: 5.2.2 转移矩阵及C-K方程 分析图 i m m+k+l j m+k 1 2 r … … 证 马氏性 C－K方程 的矩阵形式