13第四章马尔可夫链.pptVIP

第四章马尔可夫链;时间、状态都是离散的马尔可夫过程，称为马尔可夫链。

例如：天气预报

质点的随机游动;例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。;马尔可夫链定义;为了描述马尔可夫链（n+1）维分布率，最重要的是条件概率P{Xn+1=in+1|Xn=in}.它表示在时刻n取in值的条件下，下一时刻n+1取值为in+1的概率（一步转移概率）;定义4.2

称条件概率

为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。;设P表示一步转移概率所组成的矩阵，则;定义4.4

称条件概率

为马尔可夫链{Xn,n∈T}的n步转移概率，并称;例题;解：;结论：n步转移矩阵;定理4.1

设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤Ln和i,j∈I，n步转移概率具有下列性质：

;（1）证明;设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。;2021/6/7;质点在数轴上移动，规律同上例。当质点一旦达到Xn=0时，Xn+1就停留该0状态，这种状态称为吸收态。{Xn,n∈T}是一个齐次马尔可夫链，求一步转移概率。

解:;2021/6/7;质点在数轴上移动，规律同上例。随机游动的状态空间I={0,1,2…a},其中0和a为吸收态。求一步转移概率。

解:;2021/6/7;如果明天是否有雨仅与今日是否有雨有关，而与过去的天气无关.并设今日下雨，明日有雨概率为0.7，今日无雨明日有雨的概率为0.4，并把有雨称为0状态，无雨称为1状态。则问：今日有雨且第5日仍有雨的概率为多少？;解：设状态0代表有雨，状态1代表无雨，

则一步转移矩阵为：;定义：

称为n时刻马尔可夫链的绝对概率；

称为n时刻的绝对概率向量。;定义：

称为马尔可夫链的初始概??；简记为

称为马尔可夫链的初始概率向量。;例题：

设马尔可夫链有k个状态，已知第n-1时刻的绝对概率向量为;2021/6/7;定理4.2

设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下列性质：

;定理4.3

设{Xn,n∈T}为马尔可夫链，则对任意i1,…,in∈I和n≥1，有;例题：

设某地区有1600居民，有甲、乙、丙三个工厂的产品在该地区销售，据调查8月份买甲、乙、丙三个工厂产品的户数分别为480，320，800，9月份调查发现原买甲48户转买乙，96户转买丙；原买乙的有32户转买甲，有64户转买丙；原来买丙的有64户转买甲，有32户转买乙，估算9月份及12月份，甲、乙、丙三个工厂的产品在该地区市场占用率。;2021/6/7;2021/6/7;一个有限状态的马氏链,当满足条件时,经过一段试验时间后,过程将到平稳(或平稳)状态,此后过程那一个状态的概率不再随时间而变化.;2021/6/7;2021/6/7;(1)解:显然遍历;马尔可夫链的状态分类;设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态转移图如下图;定义4.6

如集合{n:n≥1,pii(n)0}非空，则称该集合的最大公约数d=d(i)=G.C.D{n:pii(n)0}为状态i的周期。如d1就称i为周期的，如d=1就称i为非周期的。

由定义知,当n不能被d整除时,pii(n)=0;例题:设有4个状态的马尔可夫链,它的一步转移概率矩阵为:

画出其状态传递图,该过程是否具有周期性?

解:

;所有状态周期为2;状态转移图;首中概率;定义4.7

称状态i为常返的，如fii=1；称状态i为非常返的(滑过态)，如fii1。;定义4.8

如ui∞，则称常返态i为正常返的；如ui=∞，则称常返态i为零常返的。;定理4.4

对任意的状态i,j以及,有：