预测与决策教程Chap12-动态决策分析.pptVIP

例3.1 设备更换（续） 假定：设备的状态集为S={0,1,2,3,4}, 运行时的状态转移概率阵为 最优方程 12.4 应用12.4.1 产品定价 假定某人有一件商品要在两天之内出售，他在每一天的早上需要确定当天的产品价格；价格的范围是 p1≥p2≥…≥pn 如果价格为pk，那么当天中能卖出此件商品的概率为λk。于是此人的任务是要确定该商品第一天、第二天的价格各是多少，以使他能得到的收益（为简单计，此处不考虑成本）最大。 * 杜克大学的研究结果（《人格与社会心理学》，2007年５月刊）。自怜比自尊更重要。自怜感有三个有益的组成部分：善待自我（宽容地理解和对待自我，而不是自我批判）；共通人格（将自己的消极经验看为人类正常的经历）；心智接受（保持内心平静而不过度唤起痛苦的想法和情绪）。 预测与决策教程 第12章 动态决策分析 第12章 动态决策分析 12.1 单阶段决策的表述 12.2 确定型动态决策 12.3 马氏型动态决策 12.4 应用 绪论 马尔可夫决策过程（也称随机动态规划）是解决随机动态决策问题的主要理论与方法。 动态决策是指多个决策，各决策之间相互影响； 随机动态决策则是指考虑随机因素影响的动态决策。 实际问题中，存在着大量的随机动态决策问题。如， 企业生产中，今天生产多了，会减小明天的生产量； 个人今天的消费多了，会减少明日的投资； 今天产品的定价定得高了，会影响明天的定价决策 12.1 单阶段决策的表述 例1.1 某公司要进入某一产品市场 方案I：直接购买某国外品牌的零部件，组装后贴牌生产。三年内将稳获收益1000万元。 方案II：自行研发新产品。公司前期需要投资1000万元于新产品的开发。新产品开发成功的概率为p=0.7，三年内可获得收益4800万元；但也有可能开发失败，失败的概率为1-p=0.3，而投资的1000万元开发费用将付诸东流 模型 例1.1 设备更新 例1.2 某门市部有一台复印机，每年初在进行预算时要考虑是否换一台新的复印机。 显然，在考虑是否更新时，需要考虑此复印机的新旧程度。为简单起见，我们以其使用的役龄来表示其新旧程度。 单阶段决策问题模型 一个单阶段决策问题由以下四个部分组成 其中 S：状态集 A(i)：状态 i 处可用的决策集 r(i, a)：在状态 i 处采取决策 a 时所得到的报酬函数 V：目标函数 决策函数 简化I：若状态事先已知，则问题简化为 其求解为 简化II：已知一个状态概率分布{pi } (要求A(i)= A)，则决策a下的期望报酬为 进一步内容 (b) 决策的正确性：决策相关的权力、信息、能力的一致(一人)，才能保证其正确性。 (c) 决策过程：要素评估与抉择，以及决策的选择、实施、反馈、修正。(动态看决策) (d) 决策能力、或执行力，就是把握过程，使得达到决策目标。在企业中，设定决策目标是董事长的职责，而如何达成是总经理的。后者曰执行力。 (e) 这与战略制定过程相同：基于现状(状态)，定位(目标)，搜寻能够从现状达到目标的路径(决策)，评估各路径以进行选择。 12.2 确定型动态决策 决策1 决策2 … … 决策n 决策i : 收益 状态i 决策a 状态i+1 各个阶段的决策既依赖于前面的决策又影响后面的决策。对此，如何达到总体最优？ 例2.1 设备更新 对前述的复印机更换问题，我们要考虑一个五年计划。 如何考虑？ 动态规划模型 阶段：有多个阶段，每阶段作一次决策。n=0,1,2,…, N 阶段n时的决策问题： { Sn，An(i)， rn (i, a)} Sn为状态集，状态刻划问题所处的状况，提供决策所需信息，状态记为 i; An(i)是在状态 i 处可用的决策集； rn (i, a)是在状态 i 选择决策a∈An(i)时的收益。 3. 状态转移：Tn(i, a)∈Sn+1 ，它描述决策问题之间的影响 4. 目标：使各阶段收益的总和达到最大 例2.1 设备更换 这是一个多阶段决策问题： N=4，n=0, 1, 2, 3, 4 Sn=S， An(i) ={R, O}（若i4）， An(4)={R}（若i=4） 报酬函数与状态转移函数如下 策略：无论何时( n )，处于何种状况( i ) ，都能确定要用的决策( a )。此谓 策略 决策函数： 策略： π=(f0 , f1 , …, fN) 给定策略π及初始始状态i0 ,系统进程就完全确定： “审时度势”。 最优策略 最优值函数 于是在阶段n的收益为rn (in , fn (in) ),系统的总收益为 π是最优策略，如果 n-子过程：过程如何进展？ n-