OR-决策论.pptVIP

* * 14.4 马尔可夫决策 一、基本概念 定义1：概率向量。任意一个行向量P=（p1,p2,…pn）如果满足：pi≥0（1in）及 ? pi=1，则向量P称为概率向量。 定义2：概率矩阵。一个n阶方阵A=（aij）如果满足： （1） aij ≥0 （2） ? aij =1 则称方阵为概率矩阵。 * * 定理1：若A、B都为n阶概率矩阵，则A*B也是n阶概率矩阵。 定理2：若A为n阶概率矩阵，K为任意正整数，则AK也是n阶概率矩阵。 定义3：正规概率矩阵。若A为n阶概率矩阵，而且存在一个正整数K，使矩阵AK没有零元素，则称A为正规概率矩阵。 而Bm中第一行总有零元素存在，所以B不是正规概率矩阵。 * * 定义4：不变向量。 设u为n维非零行向量，A是n阶方阵，如果u A = u，则称u为是n阶方阵A的不变向量。 设P是正规的概率矩阵，则 定理3 ： P有且仅有一个不变概率向量t，而且t的所有元素都为正数。 定理4 ：矩阵序列P，P2，P3…趋近于方阵T，而且每一行均是不变概率向量t。 定理5 ：设u为任意一个概率向量，则向量序列up，up2 ， up3….趋近于不变概率向量t。 * * 考虑一个具有n个结果（状态）S1，S2，….Sn的系统，如果系统由状态Si变化到Sj，就称为系统的状态转移，其概率Pij就称为状态转移概率，简称转移概率。 定义5:（状态转移矩阵）由状态转移概率Pij（i=1，2，…n）（j=1,2,…n）构成的矩阵P=（ Pij）叫状态转移矩阵。 * * 定义6 （r步状态转移概率） 设系统由状态Si出发，经过r步状态转移到达状态Sj，称其概率Pij（r）为r步状态转移概率。 定义7（r步状态转移矩阵） 由r步状态转移概率Pij(r)构成的矩阵Pij(r) =(Pij(r) )叫 r 步状态转移矩阵。 定义8 （马尔可夫过程） 如果一个系统在状态转移过程中下一步处于什么状态与且仅与现在的状态有关，而与过去的状态无关，这种过程称为马尔可夫过程。 * * 如果一个马尔可夫过程是正规的，即它的状态转移矩阵P是正规概率矩阵，那么系统一定能通过状态转移达到某一个稳定状态。设在稳定状态下，系统处于状态Si的概率为xi（i=1,2,…n），记 X=（x1,x2….xn） 通过求解联立方程组 XP=X ? xi=1 可求出系统处于稳定状态的不变向量X。 * * 应用实例 例14-6 ：（市场占有率的预测） 已知在某地区销售同类型产品的有A，B，C三个公司，经过一年营业后进行调查，发现： 1 A公司的200名顾客中有160名继续订货，有20名转向B公司订货，20名转向C公司订货。 2 B公司的500名顾客中有450名继续订货，有35名转向A公司订货，15名转向C公司订货。 3 C公司的300名顾客中有255名继续订货，有25名转向A公司订货，20名转向B公司订货。 * * 如果三个公司在这个地区的初始占有率为A=22%，B=49%，C=29% ， 且它们都不改变营业状态和规模，问： （1）明年和后年，三个公司在这个地区市场占有率为如何？ （2）稳定状态下，三个公司的市场占有率？ 解：根据题意，状态转移矩阵为： * * * * * * 例14-7 ：（广告方案的选择） 国际市场生产同一个产品的有A、B、C三个公司，国际市场平均占有率为：A=28%，B=39%，C=33%。A公司为了扩大市场，计划开展一个广告活动，现在要从两个广告方案中选择一个，A公司先在两个区域内进行了试验，已知这两个区域初始市场占有率均为： A=30%，B=40%，C=30%。 这两个区域用户的初始转移矩阵都为P0： * * 假定区域1采用广告方案1，经过一段时间后发现区域1用户的转移矩阵都为P1。 假定区域2采用广告方案2，经过一段时间后发现区域2用户的转移矩阵都为P2。 1 A公司如果不作广告，在平衡条件下，它在两个地区的市场占有率是否达到国际市场占有率平均水平？ 2 如果这两个广告方案费用相同，预测平衡状态下，哪个方案最优？ * * 解： 1 如果A公司不做广告，稳定状态下，三个公司在这两个区域的市场占有率将为： （x1,x2,x3）P0 = （x1,x2,x3） 得到： x1= 0.2778 x2= 0.3889