马尔可夫链模型课件.pptxVIP

第十一章马氏链模型;如果明天是否有雨仅与今日是否有雨有关，而与过去的天气无关.并设今日下雨，明日有雨概率为0.7，今日无雨明日有雨的概率为0.4，并把有雨称为0状态，无雨称为1状态。则问：今日有雨且第5日仍有雨的概率为多少？;解：设状态0代表有雨，状态1代表无雨，

则一步转移矩阵为：;马尔可夫过程是一类特殊的随机过程,马尔可夫链;马氏链模型;例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。;马尔可夫链定义;马氏性的直观含义可以解释如下:;例1M/G/1排队系统

假设顾客依参数为的泊松过程来到一服务中心，只有一个服务员，来客发现服务员空着即刻得到服务；其他人排队等待服务。相继来到的顾客的服务时间Ti假定为相互独立的随机变量，具有共同的分布G；且假定他们与来到过程独立。

M/G/1排队系统中字母M代表顾客来到时间间隔服从指数分布，G代表服务时间的分布，数字1代表只有一个服务员。

若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马尔可夫性。因为，若我们知道在t时刻系统中的顾客数，那么为了预测将来的状态，我们不用关心从最近的一位顾客来到后已过去了多长时间（因为来到过程是无记忆的），但和服务中的顾客服务了多长时间有关（因为服务时间分布不具无记忆性）。;Xn-----第n个顾客走后剩下的顾客数，

Yn-----第n+1个顾客接受服务期间来到的顾客数，则;Polya（波利亚）模型;离散参数马尔可夫链;条件概率称为在时;为了描述马尔可夫链（n+1）维分布率，最重要的是条件概率P{Xn+1=in+1|Xn=in}.它表示在时刻n取in值的条件下，下一时刻n+1取值为in+1的概率（一步转移概率）;定义1

称条件概率

为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。;设P表示一步转移概率所组成的矩阵，则;例设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以表示第n个季度的味精销售状态，则可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态构成一个马尔可夫链。;设;定义3

称条件概率

为马尔可夫链{Xn,n∈T}的n步转移概率，并称;例题;解：;;例设一步状态转移概率矩阵为;定理1

设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤Ln和i,j∈I，n步转移概率具有下列性质：

;;设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。;;质点在数轴上移动，规律同上例。当质点一旦达到Xn=0时，Xn+1就停留该0状态，这种状态称为吸收态。{Xn,n∈T}是一个齐次马尔可夫链，求一步转移概率。

解:;31;则称为稳态分布。;设存在稳态分布，则由于下式恒成立;1.对非周期的马尔可夫链，稳态分布必存在。;某计算机房的一台计算机经常出故障,研究者

每隔15分钟观察一次计算机运行状态,收集了24小

时的数据(共作97次观察).用1表示正常状态,用0

表示不正常状态,所得的数据序列如下:;96次状态转移的情况:;解：上月购买A公司产品的顾客中，本月将有70%仍买A公司的产品，上月购买B公司产品的顾客中，本月将有10%转买A公司产品；上月购买C公司产品的顾客中，本月将有5%转买A公司产品。因此A公司产品本月占据市场分额为

;描述下月各公司产品占据市场分额的概率向量为;例：;解:;求解方程组;用边际分析思想解决问题;例题:设有4个状态的马尔可夫链,它的一步转移概率矩阵为:

画出其状态传递图,该过程是否具有周期性?

解:

;所有状态周期为2;通过有实际背景的例子介绍马氏链的基本概念和性质;Xn+1只取决于Xn和pij,与Xn-1,…无关;n0;;n0123?;马氏链的基本方程;马氏链的