基于Tile Coding编码和模型学习的Actor-Critic算法.pdfVIP

第41卷 第 6期 计 算 机 科 学 VoI．41No．6 2014年 6月 Computer Science June2014 基于 TileCoding编码和模型学习的Actor-Critic算法 金玉净 朱文文 伏玉琛 刘 全 (苏州大学计算机科学与技术学院 苏州215006) 摘 要 Actor-Critic是一类具有较好性能及收敛保证的强化学习方法，然而，Agent在学习和改进策略的过程中并没 有对环境的动态性进行学习，导致Actor-Critic方法的性能受到一定限制。此外，Actor-Critic方法中需要近似地表示 策略以及值函数，其中状态和动作的编码方法以及参数对Actor-Critic方法有重要的影响。TileCoding编码具有简 单易用、计算时间复杂度较低等优点，因此，将 TileCoding编码与基于模型的Actor-Critic方法结合，并将所得算法应 用于强化学习仿真实验。实验结果表明，所得算法具有较好的性能。 关键词 强化学习，TileCoding，Actor-Critic，模型学习，函数逼近 中图法分类号 TP181 文献标识码 A Actor-CriticAlgorithm BasedOilTileCodingandM odelI~arning JiNYu-jing ZHUWen-wen FUYu-chen LIUQuan (Scho0lofComputerScienceandTechnology，SooehowUniversity，Suzhou215006，Chim) Abstract TheAcotr-Critic(AC)approachisaclassofreinforcementlearningmethodwhichhasgoodperformanceand ensuresconvergence，buttheAgentdoesnotstudythedynamicofenvironmentinhteprocessoflaerningandimproving policy，whichcausestheperformanceoftheACmethodot berestrictedot acertainextent．Inaddition，theACmehtod needstorepresentthepolicyandvaluefunctionapproximately，andtheencodingmethodsofstateandactionandpara- metershaveimportantinfluenceonACmethod．TileCo dinghasadvantagesofsimplenad1OW computing tmi ecomplexi— ty，SOwecombinedtheTileCo dingwithActor-Criticmethodbasedonmodelandappliedthealgorithm tothesimula— tionexperimentonreinforcementlearning，andtheresultsshow htatthealgoritmh hasgoodperformance． Keywords Reinforcement1aerning，TileCo ding，Acotr-Critic，Modellearning，Functionapproximation 题时，值函数方法需要借助函数逼近器来解决 “维数灾”问题， 1 引言 从而不能保证收敛，而且算法根据 Bellman方程寻找最优值 很多工业过程通过控制算法进行优化，这些控制算法学 函数，每次都选择使得值函数最大的那个动作 。当动作空间 习一个使得相关耗