一种大规模离散空间中的高斯强化学习方法.pdf

第 36 卷 　 第 8 期 2009 年 8 月 计 算 机 科 学 Comp uter Science Vol . 36 No. 8 Aug 2009 到稿日期:2008209225 　返修日期:2008212223 　　本文受国家自然科学基金项目 ,教育部科学技术研究重点项 目(207040) ,中国博士后科研基金(20060390919) ,江苏省高校自然科学基金(06 KJB520104)资助。 周文云(1982 - ) ,女,硕士研究生,主要研究方向为强化学习,E2mail :wenyunzhou @sohu. com;刘 　全(1969 - ) ,男,博士后,教授,博士生导师, 主要研究方向为智能信息处理、 自动推理、 机器学习;李志涛(1982 - ) ,男,硕士研究生,主要研究方向为信息检索、 数据挖掘。 一种大规模离散空间中的高斯强化学习方法 周文云1 　 刘 　 全1 ,2 　 李志涛1 (苏州大学计算机科学与技术学院 　 苏州 215006) 1 　(南京大学软件新技术国家重点实验室 　 南京 210093) 2 　 摘 　 要 　 针对大规模离散空间中强化学习的 “维数灾” 问题 ,即状态空间的大小随着特征的增加而发生指数级的增长 , 提出了一种基于高斯过程的强化学习方法。在本方法中 ,高斯过程模型有表示函数分布的能力 ,使用该模型之后 ,可 以得到的不只是一个所需的估计值 ,而是关于该值的一个分布。实验结果表明 ,结合了高斯过程的强化学习方法在各 方面性能 ,如收敛速度以及最终实验效果等都有所提高。使用高斯方法的回归模型可以在一定程度上解决大规模离 散空间上的 “维数灾” 问题。 关键词 　 强化学习 ,维数灾 ,高斯过程 ,回归 ,函数分布 中图法分类号 　TP18 　　　 文献标识码 　A 　 G aussian Processes Reinforcement Learning Method in Large Discrete States Space ZHOU Wen2yun1 　 L IU Quan1 ,2 　 L I Zhi2tao1 ( Institute of Computer Science and Technology ,Soochow University ,Soochow 215006 ,China) 1 (State Key Laboratory for Novel Sof tware Technology ,Nanjing University ,Nanjing 210093 ,China) 2 　 Abstract　In order to solve the problem of“curse of dimensionality” ,which means that the states space will grow expo2 nentially in the number of features , in large discrete states space in reinforcement learning ,a reinforcement learning method based on Gaussian processes was proposed. The Gaussian processes model can represent the dist ribution of functions ,and it can be used to get a dist ribution of the expectation instead of it s value. The experiment result shows that the performance such as speed of convergence and final effect can be improved obviously with the reinforcement learning method combined Gaussian processes. The“curse of dimensionality”in large discrete states space could be solved to a certain extent with the Gaussian processes regression model .