基于约束MORKOV的强化学习的研究与应用.pdfVIP

第36卷第4B期 计算机科学 V01．36No．4B Science 2009年4月 Computer Apr．2009 基于约束MORKOV的强化学习的研究与应用 赵小虎王晴晴赵可可 (中国矿业大学信电学院徐州221008) 摘要对Markov决策过程与强化学习进行了研究。针对许多实际问题不仅要求报酬达到最大，同时希望代价(即 费用)不要过大的特点，引入约束Markov决策过程，提出一种新的基于约束Markov决策的Q学习算法。针对煤炭 行业生产与安全密切相关的特点，根据具体煤矿工作面采煤机运行控制进行了实验分析，结果证明了方法的有效性。 关键词约束，Markov决策过程，强化学习，Qle枷ng，费用，煤矿 Res翰rch粕d Reinforcem饥tBasedonConstraintMarkov Applicati∞of k组ming ZHA0Xiao-huWANG ZHA0Ke_ke Qing-qing ofcommum∞tionElectr锄ic of (Sch00l Engineering，ChinaUniversity 221008，China) MineTechnology，Xuzhou Markov Abstr北tThe studied decision reinforceInent tothecharacteris— paper process(MDP)aIld1ea玎ling．According tic thtdeⅡlandnot the rewardbutalsothesrnallest ofⅡlanypracticalproblerns only biggest cost(expense)，thepaper introducedconstraintⅣ【arkovdecision and a basedonconstraintM)P．Accor- process gavenew(、．1eamingalgorithm t0the of characteristicclosecorrelationbe附een and mine，thermdetheshulation ding productionsafety洒coalpaper abouttheactioncontr01ofcoals}脚erincoalrnine fac己ThesiIIlulationresulthadverifiedthe o“he wo出ng validjty meth砒 collStraint，M)P，Rdnforcerllent lIline Kq删删s 1eaming，Qlea玎ling，Cost，coal S：系统所有可能的状态所组成的非空状态集，即环境状 1概述 态集。 强化学习(re