第五章--马尔可夫决策.pptVIP

第五章马尔可夫决策已知产品A的销售总量为1000万件，每件可获利1元。另外，三种措施的成本费分别为150万，40万，30万。为长远利益考虑，生产产品A的厂家应该采取何种措施？练习2我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表1、表2所示。假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？练习2我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表1、表2所示。假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？练习3在上例中，如果每年是否采取广告措施可根据上一年的经营情况确定。那么，应该如何决策？0.60.4滞销0.20.8畅销滞销畅销0.30.7滞销0.10.9畅销滞销畅销表1不采取广告措施表2采取广告措施**马尔可夫决策一、基本概念定义1：任意一个行向量P=（p1,p2,…pn），如果满足：pi≥0（1in）及?pi=1，则向量P称为概率向量。定义2：一个n阶方阵A=（aij）如果满足：（1）aij≥0（2）?aij=1则称方阵为概率矩阵。j定理1：若A、B都为n阶概率矩阵，则A*B也是n阶概率矩阵。定理2：若A为n阶概率矩阵，K为任意正整数，则AK也是n阶概率矩阵。定义3：若A为n阶概率矩阵，而且存在一个正整数K，使矩阵AK没有零元素，则称A为正规概率矩阵。A=01B=101/21/21/21/2A2=1/21/21/43/4由于存在整数2，使得A2没有零元素，A为正规概率矩阵而Bm中第一行总有零元素存在，所以B不是正规概率矩阵。例如：定义4：设u为n维非零行向量，A是n阶方阵，如果uA=u，则称u为是n阶方阵A的不变向量。例：u=（2，-1）是A=21的不变向量。23设P是正规的概率矩阵，则定理3P有且仅有一个不变概率向量t，而且t的所有元素都为正数。定理4设u为任意一个概率向量，则向量序列up，up2，up3….趋近于不变概率向量t。考虑一个具有n个结果（状态）S1，S2，….Sn的系统，如果系统由状态Si变化到Sj，就称为系统的状态转移，其概率Pij就称为状态转移概率，简称转移概率。定义5（状态转移矩阵）由状态转移概率Pij（i=1，2，…n）（j=1,2,…n）构成的矩阵P=（Pij）叫状态转移矩阵。S1S2…..SnS1P11P12…..P1nP=S2P21P22…..P2n…..SnPn1Pn2…..Pnn定义6（r步状态转移概率）设系统由状态Si出发，经过r步状态转移到达状态Sj，称其概率Pij（r）为r步状态转移概率。定义7（r步状态转移矩阵）由r步状态转移概率Pij（r）构成的矩阵P(r)=(Pij(r))叫r步状态转移矩阵。定义8（马尔可夫过程）如果一个系统在状态转移过程中下一步处于什么状态与且仅与现在的状态有关，而与过去的状态无关，这种过程称为马尔可夫过程。性质：1P（r）=P（r-1）P2P（r）=Pr如果一个马尔可夫过程是正规的，即它的状态转移矩阵P是正规概率矩阵，那么系统一定能通过状态转移达到某一个稳定状态。设在稳定状态下，系统处于状态Si的概率为xi（i=1,2,…n），记X=（x1,x2….xn）通过求解联立方程组XP=X?xi=1可求出系统处于稳定状态的不变向量X。应用实例实例1：（市场占有率的预测）已知在某地区销售同类型产品的有A，B，C三个公司，经过一年营业后进行调查，发现：1A公司的200名顾客中有160名继续订货，有20名转向B公