馬氏决策规划简介.pptVIP

马氏决策规划简介;　马尔可夫过程 　马尔可夫过程是一类特殊的随机过程，它因伟大的俄国数学家马尔可夫而得名。这种过程的特点是存在着确定的转移概率，与系统先前的历史无关，有一个很形象的比喻来形容这个过程：池塘里的青蛙在荷叶上跳来跳去，如果将它在某一时刻所在的荷叶称为状态，则青蛙未来处于什么状态只有它现在所在的状态有关，与它以前所处的状态无关。这种性质就是所谓的“一阶Markov性”或“无后效性”;一：基本概念?;假定市场调查数据显示，在随后的一周内，上周去A购物的顾客有90％仍然在A购物，有10％的顾客则流向了B，去B购物的顾客有80％继续在B购物，而20％则流向了A，这些状态转移概率可用如下矩阵表示;;　3.一步平稳转移概率 ;二　　马尔可夫过程的预测;三：赋值马氏过程;若在上面所述的马氏过程中，当它在任意时刻从状态i 转移到状态j时可以获得相应的收益记为　　,　 这种马氏过程随着状态转移可得到一系列的报酬（效益），我们称其为赋值马氏过程，称R=　　 　　为报酬矩阵。 上述工厂若某月初销路好，下月初仍销路好可获利9千元，下月初转为销路差可获利3千元，若某月初销路差，下月初转为销路好课获利3千元，下月初仍为销路差要亏本7千元。 则报酬矩阵为　 ;下面考虑系统经过一定阶段的运行后的总期望报酬。记q(i)为状态i 做出一次转移的期望报酬，则有　　 称