第10章马尔科夫决策.pptVIP

第10章 马尔柯夫预测法 10.1 马尔柯夫链简介 10.1.1马尔柯夫链简介 所谓马尔柯夫链，就是一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值的历史情况无关，即无后效性。具备这个性质的离散性随机过程，称为马尔柯夫链。 10.2 马尔可夫链的基本概念 设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。 定义1：概率向量。任意一个行向量P=（p1,p2,…pn）如果满足：pi≥0（1in）及? pi=1，则向量P称为概率向量。 定理1：若A、B都为n阶概率矩阵， 则A*B也是n阶概率矩阵。 定理2：若A为n阶概率矩阵，K为任意正整数，则AK也是n阶概率矩阵。 定义3：正规概率矩阵。若A为n阶概率矩阵，而且存在一个正整数K，使矩阵AK没有零元素，则称A为正规概率矩阵。 定义4：不变向量。设u为n维非零行向量，A是n阶方阵，如果u A = u，则称u为是n阶方阵A的不变向量。 例： u=（2，-1）是 A= 2 1 的不变向量。 2 3 设P是正规的概率矩阵，则 定理3 P有且仅有一个不变概率向量t，而且t的所有元素都为正数。 定理4矩阵序列P，P2，P3…趋近于方阵T，而且每一行均是不变概率向量t。 定理5 设u为任意一个概率向量，则向量序列up， up2 ， up3….趋近于不变概率向量t。 考虑一个具有n个结果（状态）S1，S2，….Sn的系统，如果系统由状态Si变化到Sj，就称为系统的状态转移，其概率Pij就称为状态转移概率，简称转移概率。 定义5（状态转移矩阵）由状态转移概率Pij（i=1，2，…n）（j=1,2,…n）构成的矩阵 P=（ Pij）叫状态转移矩阵。 10.3应用实例 实例1：（市场占有率的预测） 已知在某地区销售同类型产品的有A，B，C三个公司，经过一年营业后进行调查，发现： 1 A公司的200名顾客中有160名继续订货，有20名转向B公司订货，20名转向C公司订货。 2 B公司的500名顾客中有450名继续订货，有35名转向A公司订货，15名转向C公司订货。 3 C公司的300名顾客中有255名继续订货，有25名转向A公司订货，20名转向B公司订货。 如果三个公司在这个地区的初始占有率为A=22%，B=49%，C=29% ， 且它们都不改变营业状态和规模，问： （1）明年和后年，三个公司在这个地区市场占有率为如何？ （2）稳定状态下，三个公司的市场占有率？ 解：根据题意，状态转移矩阵为： A B C A 160/200 20/200 20/200 P= B 35/500 450/500 15/500 C 25/300 20/300 255/300 状态转移矩阵为： A B C A 0.80 0.10 0.10 P= B 0.07 0.90 0.03 C 0.083 0.067 0.85 今年的市场占有率 u=（0.22,0.49,0.29） 明年的市场占有率up= 0.80 0.10 0.10 （0.22,0.49,0.29） 0.07 0.90 0.03 0.083 0.067 0.85 明年的市场占有率 uP=（0.234,0.483,0.283） 后年的市场占有率 up2=（up）（P） =（0.245,0.477,0.278） 稳定状态下，市场占有率将是： (x1,x2,x3)(P)= (x1,x2,x3) x1+x2+x3=1 0.800x1+0.070x2+0.083x3 = x1 0.100x1+0.900x2+0.067x3 = x2 0.100x1+0.030x2+0.850x3 = x3 x1+x2+x3=1 得：x1 = 0.273 x2= 0.454 x3 = 0.273 实例2：（广告方案的选择） 国际市场生产同一个产品的有A、B、C三个公司，国际市场平均占有率为：A=28%，B=39%，C=33%。A公司为了扩大市场，计划开展一个广告活动，现在要从两