运筹学课件——第4讲 马尔可夫决策.ppt

运筹学课件——第4讲 马尔可夫决策.ppt

  1. 1、本文档共20页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

引例:牛奶厂决策最佳经营策略选择:北京地区鲜牛奶由三个厂家提供,该地区客户总数为100万户,假定厂家每年从每个客户那里平均获利50元,客户资源每月都在三个厂家之间相互流动,厂家2考虑从以下两套候选方案之中选择一个实施:方案一:吸引老客户,须花费450万元;方案二:吸引厂家1和厂家3的客户,须花费400万元。您有什么好的建议来帮助厂家2决策?1可编辑ppt

市场调查数据今年一月份厂家2对2000名消费者进行了调查,购买厂家1,2,3产品的消费者人数分别为800,600和600,得到市场占有率向量(概率向量)为(0.4,0.3,0.3);同时通过询问这2000名消费者下月的购买倾向,得到如下转移频数矩阵:1231232可编辑ppt

状态转移概率矩阵P从转移频数矩阵到状态转移概率矩阵P:用各行总数分别去除转移频数矩阵N的每行各元素,得到状态转移概率矩阵P如下:/800/600/6003可编辑ppt

均衡状态的市场占有率在目前状态转移概率矩阵P下,达到均衡状态时的市场占有率记为u;估计如果实施方案一或二以后状态转移概率矩阵分别为P1和P2,他们各自对应的均衡状态时市场占有率分别为u1和u2;具体数据如下:u=(0.5,0.25,0.25)u1=(0.39,0.44,0.17)u2=(0.44,0.42,0.14)4可编辑ppt

厂家2的方案选择有了均衡状态时的市场占有率u,u1和u2,厂家2就能够方便地进行分别方案选择,根据前面的数据,我们知道:u=0.25,u1=0.44,u2=0.42,因此,如果采用方案一可获利:100Х(0.44-0.25)Х50–450=500(万元)如果采用方案二可获利:100Х(0.42-0.25)Х50–400=450(万元)结论:选择方案一,即吸引老客户的方案为佳。5可编辑ppt

例:人力资源预测某高校1990年为编制师资发展规划,需要预测为了教师队伍的结构。现在对教师状况进行如下四个分类:青年,中年,老年和流退(流失或退休)。根据历史资料以及调查分析,各类教师按照一年一期的状态转移概率矩阵如下,目前青年教师400人,中年教师360人,老年教师300人。试分析3年后教师的结构以及为保持编制不变,3年内应当多少硕士和博士毕业生充实教师队伍?6可编辑ppt

马尔可夫(Markov)链随机过程:不确定变化的随机变量序列时间序列:{X1,X2,…,Xt,…},指与时间相关的离散随机变量序列状态集合:S={S1,S2,…,Sn},一般表示为Xt=Si无后效性(马尔可夫性):时间序列在t+1时刻(将来)的状态只与t时刻(现在)的状态有关而与t时刻之前(过去)的状态无关,即P{Xk+1=Sik+1/X1=Sik1,X2=Sik2,…,Xk=Sik}=P{Xk+1=Sik+1/Xk=Sik}马尔可夫(Markov)链:具备无后效性的时间序列。7可编辑ppt

状态转移概率矩阵P状态转移概率:pij表示从状态Si转移到状态Sj的概率,记:pij=P(Sj/Si)=P(Xk+1=Sj/Xk=Si),简称为从状态i到状态j的转移概率。状态转移概率矩阵:由状态转移概率pij(i,j=1,2,…,n)构成的n阶方阵P8可编辑ppt

多步状态转移概率pij一步状态转移概率:用pij(1)表示,pij(1)即pij,表示从状态Si经过一个时刻转移到状态Sj的概率,记为:pij=pij(1)=P(Xt+1=Sj/Xt=Si),相应的一步状态转移概率矩阵记为P(1)=P。k步状态转移概率:用pij(k)表示,表示从状态Si经过k个时刻转移到状态Sj的概率,记为:pij(k)=P(Xt+k=Sj/Xt=Si),相应的k步状态转移概率矩阵记为P(k)。P(k)与P(1)之间的关系如何?9可编辑ppt

例:三品牌洗衣粉下月

购买意愿调查求(1)一步状态转移概率矩阵P(1)=?

文档评论(0)

润哈哈 + 关注
官方认证
内容提供者

该用户很懒,什么也没介绍

认证主体广州乾星科技有限公司
IP属地广东
统一社会信用代码/组织机构代码
91440101MA5B6X8T7Y

1亿VIP精品文档

相关文档