09第4章马尔可夫链.pptVIP

第四章 马尔可夫链; 时间、状态都是离散的马尔可夫过程，称为马尔可夫链。 例如：天气预报 质点的随机游动; 例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。;马尔可夫链定义;定义4.2 称条件概率 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。;设P表示一步转移概率所组成的矩阵，则;定义4.4 称条件概率 为马尔可夫链{Xn,n∈T}的n步转移概率，并称;例题;解：;结论：n步转移矩阵;定理4.1 设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤Ln和i,j∈I，n步转移概率具有下列性质： ;（1）证明;例题：无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。;;例题：带一个吸收壁的随机游动 质点在数轴上移动，规律同上例。当质点一旦达到Xn = 0时， Xn+1就停留该0状态，这种状态称为吸收态。{Xn,n∈T}是一个齐次马尔可夫链，求一步转移概率。 解:;;例题：带2个吸收壁的随机游动 质点在数轴上移动，规律同上例。随机游动的状态空间I={0,1,2…a}, 其中0和a为吸收态 。求一步转移概率。 解:;;例题：天气预报问题 如果明天是否有雨仅与今日是否有雨有关，而与过去的天气无关，并设今日下雨，明日有雨概率为0.7，今日无雨明日有雨的概率为0.4，并把有雨称为0状态，无雨称为1状态。则问：今日有雨且第5日仍有雨的概率为多少？;解：设状态0代表有雨，状态1代表无雨， 则一步转移矩阵为： ;定义： 称 为时刻n马尔可夫链的绝对概率； 称 为n时刻的绝对概率向量。;定义： 称 为马尔可夫链的初始概率；简记为 称 为马尔可夫链的初始概率向量。;例题： 设马尔可夫链有k个状态，已知第n-1时刻的绝对概率向量 为;;定理4.2 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下列性质： ;定理4.3 设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和n≥1，有;例题： 设某地区有1600居民，有甲、乙、丙三个工厂的产品在该地区销售，据调查8月份买甲、乙、丙三个工厂产品的户数分别为480，320，800，9月份调查发现原买48户转买乙，96户转买丙；原买乙的有32户转买甲，有64户转买丙；原来买丙的有64户转买甲，有32户转买乙，估算9月份及12月份，甲、乙、丙三个工厂的产品在该地区市场占用率。;;;;;;(1) 解: 显然遍历 ;马尔可夫链的状态分类;设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态转移图如下图;定义4.6 如集合{n: n≥1,pii(n)0}非空，则称该集合的最大公约数d=d(i)=G.C.D{n:pii(n)0}为状态i的周期。如d1就称i为周期的，如d=1就称i为非周期的。 由定义知,当n不能被d整除时,pii(n)=0; 例题:设有4个状态的马尔可夫链,它的一步转移概率矩阵为: 画出其状态传递图,该过程是否具有周期性? 解: ;所有状态周期为2;状态转移图;首中概率;定义4.7 称状态i为常返的，如fii=1；称状态i为非常返的，如fii1。;定义4.8 如ui∞，则称常返态i为正常返的；如ui= ∞，则称常返态i为零常返的。;定理4.4 对任意的状态i,j以及 , 有： ;证明：;定义：到达 如果对状态i和j存在某个n （n≥ 1），使得pij(n)0,即由状态i出发， 经过n次转移以正的概率达到状态j，则称自状态i可到达状态j,并记为 。反之如果状态i不能到达j，记为 例如：无限制的随机游动中，每个状态都能够到达任何其它状态。当时在带有吸收壁的随机游动中，吸收状态却不同到达其他状态。