- 1、本文档共28页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
9连续时间马尔可夫链
第五章:连续时间的马尔可夫链 连续时间马尔可夫链定义 无穷小转移概率矩阵 柯尔莫哥洛夫向前方程与向后方程 连续时间马尔可夫链的应用 Q矩阵和柯尔莫哥洛夫方程 Q矩阵和柯尔莫哥洛夫方程 * * 定义5.1: 设随机过程{X(t),t≥0},状态空间I={in, n≥0},若对任意0≤t1t2…tn+1及i1,i2,…,in+1∈I,有 则称{X(t),t≥0}为连续时间马尔可夫链。 上式中条件概率可以写成转移概率的形式 定义: 若pij(s,t)的转移概率与s无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 其转移概率矩阵简记为 时间轴 0 s s+t 状态i 状态i持续时间τi 在0时刻马尔可夫链进入状态i,而且在接下来的s个单位时间中过程未离开状态i,问在随后的t个单位时间中过程仍不离开状态i的概率是多少? 无记忆性 一个连续时间的马尔可夫链,每当它进入状态i,具有如下性质: 在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布; 当过程离开状态i时,接着以概率pij进入状态j, 当vi=∞时,称状态i为瞬时状态; 当vi=0时,称状态i为吸收状态。 对于指数分布的随机变量X 定理5.1: 齐次马尔可夫过程的转移概率具有下列性质: 证明 正则性条件 证明: 定义5.3 对于任一t≥0,记 为绝对概率和初始概率。 分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概率分布。 定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: 例题5.1: 证明:泊松过程{X(t)}为连续时间齐次马尔可夫链。 (1)先证明马氏性 (2)再证明齐次性 引理5.1 设齐次马尔可夫过程满足正则性条件,则对于任意固定的i,j∈I,pij(t)是t的一致连续函数。 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件,则下列极限存在: 称为转移速率或跳跃强度 若连续时间齐次马尔可夫链是具有有限状态空间I={1,2, …,n},则其转移速率可构成以下形式的矩阵 Q矩阵的每一行元素之和为0,对角线元素为负或0,其余qij≥0 利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组,从而可以求解转移概率。 定理5.4( 柯尔莫哥洛夫向后方程) 假设 ,则对一切i,j及t≥0,有 证明 由C-K方程可以知道: 两边除以h, 取极限可以得到: 即 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,则对一切i,j及t≥0,有 利用Kolmogorov向后方程或向前方程及下述初始条件,可以解得pij(t) 柯尔莫哥洛夫向后和向前方程的矩阵表达形式为 连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q决定。 柯尔莫哥洛夫向后方程的矩阵表达形式为 例题5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为?的指数分布,求转移概率P00(t),P01(t),P10(t),P11(t)。 向前方程: 解: 当h趋于0时 同理: 可求平稳分布和绝对概率分布 Kolmogorov向后和向前方程所求得的解pij(t)是相同的 在实际应用中,当固定最后所处状态j,研究pij(t)时(i=0,1, …),采用向后方程较方便; 当固定状态i,研究pij(t)时(j=0,1, …),采用向前方程较方便; 定理5.6 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程 定义5.4 设pij(t)为连续时间马尔可夫链的转移概率,若存在时刻t1和t2,使得 则称状态i和j是互通的。若所有状态都是互通的,则称此马尔可夫链为不可约的。 * * * 第10次课结束
您可能关注的文档
- .函数的连续性.ppt
- .z变换与离散时间傅里叶变换.ppt
- .函数的单调性与曲线的凹凸性.ppt
- .定积分的几何应用.ppt
- .幂级数.ppt
- .函数极限连续.ppt
- .土的压缩性与地基沉降计算.ppt
- .多执行元件控制回路A.ppt
- .曲线cadcam.ppt
- .依法行政.ppt
- 浙江省临海市白云高级中学2025届高三历史3月月考试题.doc
- 云南拾谷县第一中学2024_2025学年高二物理上学期10月月考试题.doc
- 2025版高考生物总复习第13讲基因的分离定律教案苏教版.doc
- 湖北省黄石实验高中2024_2025学年高一历史下学期期末考试模拟卷.doc
- 通史版2025版高考历史大一轮复习专题七近代化的曲折发展__中日甲午战争至五四运动前4第4讲从维新思想到新文化运动课后达标检测含解析新人教版.doc
- 2024年高考数学考试大纲解读专题04导数及其应用含解析文.doc
- 河南省许汝平九校联盟2024_2025学年高一语文上学期期末考试试题扫描版无答案.doc
- 江西省吉安市吉水县第二中学2024_2025学年高一历史上学期第二次月考试题.doc
- 北京市平谷区2025届高三政治一模考试试题含解析.doc
- 2025届中考物理第四讲物态变化专项复习测试无答案新人教版.docx
文档评论(0)