人教版A版高中数学选修4-9全套PPT课件.ppt

定义 一般地分布，如果时刻n的分布w能使马尔可夫链在n以后的各个时刻的分布相等，即w=wP，其中P为该马尔可夫链的转移矩阵，则称w为该马尔可夫链的一个平稳分布. 什么是转移概率矩阵？ 什么是平均收益矩阵？ 想一想 和 有区别吗？ 小练习 计 算 解： 解： 新课导入 在前面讲到的风险决策案例中，各可能状态的分布列一般是不变的，当可能状态随时间变化，其状态的随机序列是一个马尔可夫链时 ，这类决策就是马尔可夫型决策. 案例 某工厂的一台自动加工机有2种工作状态:正常状态和故障状态.在每个整数钟点的起始时刻检查机器的工作情况，若机器处于正常状态，则让它继续工作;若机器处于故障状态，则对他进行检修.假设处于正常状态的机器，在一小时后发生故障的概率为0.05，对于故障机器有2种检 案例分析 修方案可供选择，一种是加急检修，在一 小时内排除故障的概率为0.9；一种是常规 检修，在一小时内排除故障的概率为0.6. 已知这台机器正常工作一小时可收益 10元，加急检修1小时费用为9元，常规检修一小时费用为6元，若机器出现故障，该选择哪种方案？ 先写出行动方案和可能状态 决策目标是使机器产生收益最大，可供选择的行动方案有： ：加急检修， ：常规检修. 机器在任意时刻可能所处的状态：