马尔科夫链模型及其应用课题.pptVIP

目录 马尔科夫链：介绍 马尔科夫链：定义及表示 马尔科夫链：一般性 马尔科夫链：m步转移概率 马尔科夫链：加权图表示 马尔科夫链：例子 马尔科夫链：应用 保险公司 马尔科夫链：应用 保险公司 马尔科夫链：应用 保险公司 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 隐马尔科夫模型 马尔可夫随机场 马尔可夫随机场 马尔可夫随机场 马尔可夫随机场 马尔可夫随机场 马尔可夫随机场 Thank You! * * 马尔可夫模型及其应用 汇报人：吕昌伟 2015年12月1日 马尔可夫随机场 3 马尔可夫链 1 隐马尔可夫模型 2 马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学领域中具有马尔可夫性质的离散时间随机过程。 马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 安德烈·马尔可夫，俄罗斯人，物理-数学博士，圣彼得堡科学院院士，彼得堡数学学派的代表人物，以数论和概率论方面的工作著称，他的主要著作有《概率演算》等。1878年，荣获金质奖章，1905年被授予功勋教授称号。 随机过程 是随机变量的集合，指标t通常表示时间，此时，过程X是随时间而变化的随机变量X的取值模型。 X(t)是过程在时刻t的状态，用Xt代替X(t)。 这里我们着重于特殊类型的离散时间、离散空间随机过程X0,X1,X2,…，其中Xt的值依赖于Xt-1的值，但不依赖于导致系统取那个值得状态序列。 定义：一个离散时间随机过程X0，X1，X2，…是马尔可夫链，如果 马尔可夫性 无记忆性 假定马尔可夫链的离散状态空间为{0,1,2，…，n}(或{0,1,2，…}，如果可数无穷)。转移概率 是过程i经一步转移到j的概率。马儿可夫性蕴涵马尔可夫链由一步转移矩阵唯一确定。 归一化：对所有i, 对任意m≥0,我们将m步转移概率 定义为链从状态i经恰好m步到达状态j的概率。 在从i出发经1次转移的条件下，我们有 设P(m)是一个矩阵，其元素为m步转移概率，使得第i行第j列元素为 由上式可得 经关于m的归纳 设pi(t)表示过程在t时刻处于状态i的概率 是在t时刻给出链的状态分布的向量 我们将概率分布表示成一个行向量 马尔可夫链的另一种有用的表示是用一个有向加权图D=(V,E,w). 图的顶点集合是链的状态集 存在一条有向边 ,当且仅当Pi,j0,此时边(i,j)的权w(i,j)由w(i,j)=Pi,j给出 自圈（一条边开始和结束在同一顶点）是允许的。 对每一个i，我们仍要求 一个由过程逗留过的状态序列表示为图上的一条有向路径。过程沿着这条路径的概率是路径表的权的乘积。 3 P3,1 P1,3 P3,2 1 2 P1,2 P2,2 0 P0,1 P1,0 P0,3 P3,3 计算恰好经过三步从状态0到状态3的概率。 3 1/2 1/6 1/4 1 2 1/3 1 0 1/4 1/2 3/4 1/4 路径： 概率 0-1-0-3 3/32 0-1-3-3 1/96 0-3-1-3 1/16 0-3-3-3 3/64 总概率：41/192 马尔科夫链 转移矩阵 保险公司要对投保人未来的健康状态作出估计，以制订保险金和理赔金的数额 例：人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为0.8，而今年患病、明年转为健康状态的概率为0.7，若某人投保时健康，问10年后他仍处于健康状态的概率是多少？ 状态Xn= 1，第n年健康 2，第n年疾病 p11=0.8 p12=1-p11=0.2 p21=0.7 p22=1-p21=0.3 Xn+1只取决于Xn和pij,与Xn-1,…无关 状态转移具有无后效性 a1(n+1)=a1(n)p11+a2(n)p21 a2(n+1)=