一种采用模型学习和经验回放加速正则化自然行动器评判器.PDFVIP

计 算 机 学 报 2017 年在线发布 CHINESE JOURNAL OF COMPUTERS 20 17Online 一种采用模型学习和经验回放加速的正则化 自然行动器评判器算法 钟珊1),2),3),4) 刘全1),3),5) + 傅启明3),4),6) 龚声蓉1),2) 董虎胜1) 1)(苏州大学 计算机科学与技术学院 江苏 苏州 215006) 2)(常熟理工学院 计算机科学与工程学院, 江苏 常熟 215500) 3)(吉林大学符号计算与知识工程教育部重点实验室, 长春 130012) 4)(苏州科技大学 江苏省建筑智慧节能重点实验室, 江苏 苏州 215006) 5)(软件新技术与产业化协同创新中心, 南京 210000) 6)(苏州科技大学 电子与信息工程学院, 江苏 苏州 215006) 计 摘 要 行动器评判器(actor critic，简称AC)算法是强化学习连续动作领域的一类重要算法，其采用独立的结构表示策略， 但更新策略时需要大量样本导致样本效率不高。为了解决该问题，提出了基于模型学习和经验回放加速的正则化自然 AC 算法(regularized natural AC with model learning and experience replay ，简称RNAC-ML-ER) 。RNAC-ML-ER 将agent 与环境在 算 线交互产生的样本用于学习系统动态性对应的线性模型和填充经验回放存储器。将线性模型产生的模拟样本和经验回放存 储器中存储的样本作为在线样本的补充，实现值函数、优势函数和策略的更新。为了提高更新的效率，在每个时间步，仅 当模型的预测误差未超过阈值时才利用该模型进行规划，同时根据 TD-error 从大到小的顺序对经验回放存储器中的样本进 机 行回放。为了降低策略梯度估计的方差，引入优势函数参数向量对优势函数进行线性近似，在优势函数的目标函数中加入 2-范数进行正则化，并通过优势函数参数向量来对策略梯度更新，以促进优势函数和策略的收敛。在指定的两个假设成 立的条件下，通过理论分析证明了所提算法RNAC-ML-ER 的收敛性。在四个强化学习的经典问题即平衡杆、小车上山、倒 学 立摆和体操机器人中对RNAC-ML-ER 算法进行实验，结果表明所提算法能在大幅提高样本效率和学习速率的同时保持较高 的稳定性。 关键词 行动器评判器算法；模型学习；经验回放；最优策略；正则化；自然梯度 中图法分类号 TP18 报 A Regularized Natural AC Algorithm with the Acceleration of Model Learning and Experience Replay ZHONG Shan1),2),3),4) LIU Quan1),3),5) FU Qi-Ming 3),4),6) GONG Sheng-Rong1),2) Dong Hu-Sheng1) 1)(School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu, 215006) ——————————————— 本课题得到国家自然科学基金项目、江苏省自然科学基金(BK2012616)、江 苏省高校自然科学研究项目(13KJB520020)、江苏