may马尔科夫--知道定义.pptVIP

  • 3
  • 0
  • 约1.18千字
  • 约 7页
  • 2020-05-17 发布于湖北
  • 举报
Markov过程 Markov链的定义和例子 定义 如果对任何一列状态 及对任何 ,随机过程 满足Markov性质: 则称 为离散时间Markov链。 定义 设 为一离散时间Markov链。给定 在状态 时 处于 状态的条件概率 称为Markov链的一步转移概率,记作 。当这一概率与n无关时称该Markov链有平稳转移概率,并记之为 ,对应Markov链称为时齐Markov链。 记n步转移概率为 , 以 为元 的矩阵 记作 ,称为Markov链的n步转移概率矩阵。 定理 Markov链的n步转移概率矩阵满足 , 在上式中我们定 。 例(一维随机游动)设一质点在直线上的点集 上作随机游动,每秒钟发生一次游动,游动规则是:如果质点处于2,3,4点处,则在下一秒钟,质点以均等的概率向左,右移动一单位或停留在原处;

文档评论(0)

1亿VIP精品文档

相关文档