ch17 马尔科夫过程.ppt

主讲：程龙生 南京理工大学经济管理学院 管理科学与工程系 cheng_longsheng@163.com 025 – 8430 4011 138 1587 3482 马尔可夫过程对于研究可重复试验系统的演进很有用。 重复试验通常为连续事件阶段，而在任何特定的阶段，系统所处的状态是不确定的。 转移概率：描述系统从一个阶段向下一个阶段转移的可能性大小。 本章仅介绍以下情况 平稳转移概率的马尔可夫过程：状态数目有限，转移概率在一定时间内保持不变，在任何时间阶段，处于某种状态的概率只由其紧前阶段中所处的状态决定。 要分析默菲食品店和阿希礼超级市场（某小镇仅有的两个食品杂货店）的市场占有率和顾客忠诚度。 我们将注意力放在某一顾客的采购次序上，假定该顾客每星期只到默菲食品店或阿希礼超级市场采购一次（不会同时光顾两家店） 过程事件：每星期阶段或采购过程 系统的状态：某星期所选择的商店 系统状态有限，我们用以下方式说明每种状态： 状态1 顾客在默菲食品店购物 状态2 顾客在阿希礼超级市场购物 如果说事件3的状态1：指顾客在第三个购物周内在默菲食品店购物 假设，顾客在某一星期在默菲食品店购物的概率为0.6，而在阿希礼超级市场购物的概率为0.4 此马尔可夫过程连续事件中各种状态的概率如下： 默菲食品店和阿希礼超级市场销售的转移概率： 目前购物周期 下个购物周期 默菲食品店 阿希礼超级市场 默菲食品 阿希礼超市 0.9 0.1 0.2 0.8 用Pij表示转移概率 行和概率为1 顾客 在默菲食品店购物 第0周 在默菲购物 在阿希礼购物 在默菲购物 在阿希礼购物 在默菲购物 在阿希礼购物 0.9 0.1 0.9 0.1 0.2 0.8 0.9×0.9＝0.81 0.9×0.1＝0.09 0.1×0.2＝0.02 0.1×0.8＝0.08 第1周 第2周 对于多阶段时个状态的概率： 假设 π1(0)和π2(0)表示系统在初始阶段处于状态1和2的概率， 根据上图：可知 系统处于阶段n的概率向量如下： 根据平稳概率马尔可夫的性质（在任何时间阶段，处于某种状态的概率只由其紧前阶段中所处的状态决定），我们可以得到阶段n+1阶段的状态概率： 以系统处于阶段0状态1为开始，我们有 即 依次可以计算出10个阶段的结果 状态概率 阶段n 0 1 2 3 4 5 6 7 8 9 10 π1(n) π2(n) 0.9 0.83 0.781 0.747 0.723 0.706 0.694 0.686 0.680 0.676 0 0.1 0.17 0.219 0.253 0.277 0.294 0.306 0.314 0.320 0.324 从一个阶段到下一个阶段的改变并不大 以系统处于阶段0，状态2为开始（即顾客在阿希礼购物），我们有 即 同样，依次可以计算出10个阶段的结果 状态概率 阶段n 0 1 2 3 4 5 6 7 8 9 10 π1(n) π2(n) 0 0.2 0.34 0.438 0.507 0.555 0.589 0.612 0.628 0.640 0.648 1