11_马尔可夫过程.pptVIP

马尔可夫预测;6.1 马尔可夫链的基本概念;一、马尔可夫链;马尔可夫过程指满足无后效性的随机过程;马尔可夫过程指满足无后效性的随机过程;马尔可夫过程指满足无后效性的随机过程;马尔可夫过程指满足无后效性的随机过程; 设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。;则称离散型随机过程 为马尔可夫链。;二、状态转移概率矩阵;二、状态转移概率矩阵;二、状态转移概率矩阵;几个概念：;几个概念：;几个概念：;几个概念：;几个概念：;概率矩阵的性质：如果A、B 皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。 ;概率矩阵的性质：如果A、B 皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。 ; 例1 设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。; 例1 设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。;1;k步状态转移概率; 马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。 ; 马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。 ; 马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。 ;例2 设一步状态转移概率矩阵为;例2 设一步状态转移概率矩阵为;初始状态概率向量;初始状态概率向量;如果已知齐次马尔可夫链的状态转移概率矩阵 以及初始状态概率向量 ，则任一时刻的状态概率分布可以确定。;其中：; 例3 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－2；处于故障中的机床经维修，恢复到正常状态：2－1。; 例3 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－2；处于故障中的机床经维修，恢复到正常状态：2－1。;;含义？;含义？;含义？;;;;;;;;;三、平稳分布与稳态分布;三、平稳分布与稳态分布;三、平稳分布与稳态分布;1. 平稳分布;2. 稳态分布;2. 稳态分布;2. 稳态分布;2. 稳态分布;则称 为稳态分布。;则称 为稳态分布。; 设存在稳态分布 ，则由于下式恒成立; 设存在稳态分布 ，则由于下式恒成立; 设存在稳态分布 ，则由于下式恒成立; 1.对非周期的马尔可夫链，稳态分布必存在。;6.2 马尔可夫预测方法及应用;一、市场占有率预测;周期;周期;周期;未来各期的市场占有率：;未来各期的市场占有率：;未来各期的市场占有率：;未来各期的市场占有率：;稳态市场占有率 ;稳态市场占有率 ;稳态市场占有率 ;;上述结果对A厂不利。A厂制定两套方案：;上述结果对A厂不利。A厂制定两套方案：;上述结果对A厂不利。A厂制定两套方案：; 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 ; 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 ; 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 ;二、期望利润预测;二、期望利润预测;1．有限时段期望总报酬 ;记 表示初始状态为 i 的条件下，到第k步状态转移前所获得的期望总报酬(k≥1，i∈S)： ;记 表示初始状态为 i 的条件下，到第k步状态转移前所获得的期望总报酬(k≥1，i∈S)： ;记;记;记; 例5 某商品每月市场状况有畅销和滞销两种。如果产品畅销则获利50万元；滞销将亏损30万元。已知状态转移概率矩阵如下：;解：由题意知;解：由题意知;结果为：如当前月份该产品畅销，第四月前所获得的期望总利润为67.5万。;2．无限时段单位时间平均报酬 ; 对i∈S，定义初始状