马尔科夫预测.ppt

马尔柯夫预测法;第三节马尔柯夫预测;;第三节马尔可夫决策;第三节马尔可夫决策;案例引入：例6-5P194;状态转移概率;一、基本概念;一、基本概念;第三节马尔可夫决策;;;第三节马尔可夫决策;一、基本概念：状态、状态转移概率、

状态转移概率矩阵、初始状态概率向量;用状态变量来表示状态：

它表示随机运动系统，在时刻

所处的状态为

状态转移：客观事物由一种状态到另一种状态的变化。

如：由于产品质量或替代产品的变化，市场上产品可能由畅销变为滞销。

;（二）、状态转移概率

客观事物可能有共种状态，其中每次只能处于一种状态，则每一状态都具有个转向（包括转向自身即。

由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率;第三节马尔可夫决策;第三节马尔可夫决策;第三节马尔可夫决策;(三)、状态转移概率矩阵

将事件个状态的转移概率依次排列起来，就构成一个N行×N列的矩阵，这种矩阵就是状态转移概率矩阵。

通常称矩阵P为状态转移概率矩阵，没有特别说明步数时，一般均为一步转移概率矩阵。矩阵中的每一行称之为