马尔可夫过程.pdf

人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未 来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与 “过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池 中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片 荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往 何处和它以往走过的路径无关。如果将荷叶编号并用 X0,X1,X2, …分别表示青蛙最初处的荷 叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0}