马尔科夫链与递推数列.pdfVIP

马尔科夫链与递推数列

1.简介

俄国数学家AndreyAndreyevichMarkov研究并提出一个用数学方法就能解释自然变化的

一般规律模型，被命名为马尔科夫链（MarkovChain）。马尔科夫链为状态空间中经过从一

个状态到另一个状态的转换的随机过程，该过程要求具备“无记忆性”，即下一状态的概率

分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记

忆性”称作马尔可夫性质。

2.数学定义

一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻t0

xi(iN)(0,1),1

时，位于点，下一个时刻，它将以概率或者（）向

Xtitxi(iN)

左或者向右平移一个单位.若记状态表示：在时刻该点位于位置