2019年运筹学之决策论.ppt

11.4.4 效用值的应用 【例11-8】 若某决策问题的决策树如下图所示，其决策者的效用期望值同时附在效益期望值后，请做出决策． E(2)=0.5×300＋0.5×(－200)=50 E(3)＝0.5×200＋0.5×(－100)=50 根据最大效益期望值准则，无法判断优劣． y2=0.5×1＋0.5×0＝0.5， y3=0.5×0.9+0.5×0.3=0.6 【解】：(1）计算效益期望值分别为 11.4 效用理论 Utility Theory A2方案效用值＞A1方案效用值，因此取A2方案为决策方案． 绘制效用曲线图见下图，可知，该决策者偏向于保守型，不求大利，谨慎小心． 11.4 效用理论 Utility Theory -200 300 1 0 100 200 -100 y x 11.5 马尔可夫决策 Markov Decision 11.5马尔可夫决策 Markov Decision 11.5.1 马尔可夫链 用X(t)表示随机系统在时刻t 的状态，状态序列 为一随机过程，如果系统当前的转移概率只与当前的运行状态有关，而与以前的状态无关，即：对随机过程 若对任意的0t1t2…tntn+1及ti∈T，X（tn+1）关于X（t1）,…, X（tn）的条件概率恰好等于X（tn+1）关于X（tn）的条件概率，用数学符号表示为： 则称 具有马尔可夫性．随机过程称为马尔可夫过程。 所有可能的全体取值称为过程的状态空间。 若马氏过程的状态空间为非负整数集E＝{0，1，2，…}，称为马氏链。例如，今天下雨这一状态用“ 0”表示，不下雨用“ 1”表示，则状态空间为 E＝{0，1}。天气变化过程符合Markov性。 11.5.2 转移概率 记Pij为从状态X(n)=i转移到下一个状态X（n+1）=j 的概率，一步转移概率矩阵为 11.5马尔可夫决策 Markov Decision 【例11-9】有3家电器公司分别生产三种不同牌子的空调。各自开展广告攻势促销本公司产品。各公司所占的市场比例是随时间变化的。 X＝{Xn，n≥0}构成一个以E＝{1,2,3}为 状态空间的Markov链。假设在任一时刻，公司1能留住它的1/2的老顾客，其余的则对半购买另两个公司的产品；公司2的一半顾客能留下， 30％转向公司1，20％转向公司3;公司3有3/4能留下，其余流向公司2。Markov链的转移概率矩阵和转移图： ① ② ③ 1/2 1/4 1/4 3/10 1/2 1/4 3/4 11.5马尔可夫决策 Markov Decision 1/5 求n期后公司i的市场占有率，n→∞时的市场占有率。 记Pj(n)=P(Xn=j)为Markov链X时刻n处于状态j的概率，P为初始分布。 【定理】 X＝{Xn，n≥0}为一个Markov链，则有 对任意m，n≥0，有 对任意i，j∈E，有 此方程称为Champan-Kolmogorov方程，简称C－K方程 11.5.3 转移状态 11.5马尔可夫决策 Markov Decision 遍历性：如果一个齐次的马尔可夫链{X(n), n=1,2,…}的n步转移概率为Pij(n)，对于一切状态i,j，存在着不依赖于初始状态i的常数Pj，使得 成立，则称此马尔可夫链具有遍历性．也就是说，一个具有遍历性的马尔可夫链，当转移的次数n极大时，此系统转移到状态j的概率为一个常数Pj，而与初始状态无关． 求 【引理】设m 阶矩阵P具有m个线性无关的特征向量 B＝(b1,b2, …,bm) 对应的特征值为λ1， λ2，…，λm，则B可逆且有P＝BΛB－1， Pn= BΛnB－1.其中Λ＝diag(λ1， λ2，…，λm) 11.5马尔可夫决策 Markov Decision ②从右向左计算各方案期望值，并进行标注； ③对期望值进行比较，选出最大效益期望值，写在□上方，表明其所对应方案为决策方案，同时在其它方案上打上╫ 删除． H H1 Hi Hm E(H1) E(Hi) E(Hm) V11 V1j V1n Vi1 Vij Vin Vm1 Vmj Vmn pj pn p1 pj pn p1 pj pn 图14－3 决策树图 max{E(Hi)} 11.3 风险型决策 p1 …… …… …… …… …… …… …… …… 【例11-4】某厂决定生产某产品，要对机器进行改造．投入不同数额的资金进行改造有三种方法，分别为购新机器、大修和维护，根据经验,销路好发生的概率为0.6．相关投入额及不同销路