有限阶段MDP推广及其在投资中的应用.pdfVIP

有限阶段MDp推广及其在投资中的应用 论文题目 有限阶段MDp推广及其在投资中的应用 专 业 概率论与数理统计 硕±生 冯文鹏 指导教师 郭先平教授 摘 要 MDp是马尔科夫决策过程的荚文简称。本文研究了有限阶段凇P的推广及 其在投资决策过程中的应用。全文主要有四大部分构成。首先介绍了有限阶段马 尔科夫决策模型，有限除段姗P费用滋数非负情况下最傀方程和最侥策略存在 条件；接下来，我稍把有限阶段洒P费蔗函数尊受可测谤形推广至费用潞数无 界但可控情况，并给出了最优方程和最优策略存在的条件和算法。接着我们介绍 了投资决策过程，依据其与马尔辩夫决策孛故糟像性，建立金融．马謇辩夫决策 decision in缸anceand 过程模型。本模型是在Manf}edschal在“Markov processe8 dy珏a赫eoptio躺，，(见马尔科夫手麓翁王一4豁)中所建立的模型基础上进行了改进，转 移概率丞数由离散函数推广至一般情况，行动空阍由有限集推广至紧致集，露标 函数有只有最后阶段推广所有阶段。最后，我们给出了几个应用实例，以期能够更 好酶说赛我镧所建立昀模型。 关键词：马尔科失决策过程；投资决策；金融市场；马尔科失策略 第1页 有限阶段MDp推广及其在投资中的应用 第2章离散时间马尔科夫决策过程 在开始本章前，首先对本章中的记号做出说明。我们用劈(x)表示Borel空 间x上的小代数。当我们说集合或者函数可测均指Borel可测。如果x和Y均 为弱∞羹空阕，一个在给定Y时在x上的隧机核是一个函数P(。|．)，其满足：对于 任意给定的秒∈y，P(·lⅣ)是X上的概率测度，且对于给定的B《留∽)，P(B1．) 是Y上的可测函数。所有的在给定Y时x上的随机核的集合记为沪Ⅸ|y)．此 外，我们用大写字母表示集合，相应的小写字母表示具体的某一个元素或者随机 变量。 2．1 离散时间马尔科夫决策模型 定义2．1．1一个马尔科夫决策模型是一个五元组 (x，A，{盖(劣)|露∈x}，Q，c) (2．王) 其中 以膳是一个B8剜集，称为状态空间，魄∈x称为状态。 例A是一个历俄集，称为控制集或者行动集。 例集族{A(z)|鬈∈x}中，A倒是．f耋的非空可测子集。A俐表示当系统处 于状态g是，决策者多能够采取的所有行动的集合。集合 g K：一{(。，8)l髫∈x，8 A(。)} (2。2) 是一个x×A的可测子集，我们称为状态行动集。 俐Q是在给定K时，x上的随机核，即对于B∈彩(茹)争任意的(茹，穗)∈K， 有 Q(嚣Iz，n)：一P(Bl茹，a) (2。3) 称Q为转移法则。 例cⅨ_酞是一个可测函数，称为费用函数。 在应罔申，有时候矮报酬函数您哪嚣要更切合实际。 在下面的章节中，我们假定上面的马尔科夫决策模型已经给定。 上述决策模型代表了一类发生在时刻毛=o，l，…随枧控制系统。我们用 觑和舰分别表示在时刻t系统的状态和所采取的行动。在t时刻，如果系统状态 善￡=髫∈x和镪=8∈么(露)，那么两件事将会发生： (i)将会有一个费用c(x，a)发生； 第5页 中山大学研究生院学使论文 (ii)系统将会转移到下～个状态茹件1，它们遵从(2．3)式所定义的转移法则Q，具 体来讲，