连续空间中的一种动作加权行动者评论家算法.PDFVIP

第 卷 第 期 ４０ ６ 　 　　 　　 　　 　　 Ｖｏｌ．４０ Ｎｏ．６ 年 月 ２０１７ ６ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊｕｎｅ２０１７ 　 连续空间中的一种动作加权行动者评论家算法 ），），） ） ） ） ） １ ２ ３ １ １ １ １ 刘 全 章 鹏 钟 珊 钱炜晟 翟建伟 　 　 　 　 　 　 　 １）（苏州大学计算机科学与技术学院 江苏苏州 ２１５００６） 　 　 ２）（软件新技术与产业化协同创新中心 南京 ２１００００） 　 　 ３）（吉林大学符号计算与知识工程教育部重点实验室 长春 １３００１２） 　 　 摘 要 经典的强化学习算法主要应用于离散状态动作空间中 在复杂的学习环境下，离散空间的强化学习方法 ． 　 　 不能很好地满足实际需求，而常用的连续空间的方法最优策略的震荡幅度较大 针对连续空间下具有区间约束的 ． 连续动作空间的最优控制问题，提出了一种动作加权的行动者评论家算法（ＡｃｔｉｏｎＷｅｉｈｔＰｏｌｉｃ ＳｅａｒｃｈＡｃｔｏｒ ｇ ｙ ， ） 算法以行动者评论家为基本框架，对最优状态值函数和最优策略使用线性函数逼 ＣｒｉｔｉｃＡＷＰＳＡＣ．ＡＷＰＳＡＣ 《 近器进行近似，通过梯度下降方法对一组值函数参数和两组策略参数进行更新 对两组策略参数进行加权获得最 ． 优策略，并对获得的最优动作通过区间进行约束，以防止动作越界 为了进一步提高算法的收敛速度，设计了一种 计 ． 改进的时间差分算法，即采用值函数的时间差分误差来更新最优策略，并引入了策略资格迹调整策略参数 为了证 ． 明算法的收敛性，在指定的假设条件下对 ＡＷＰＳ 算法的收敛性进行了分析 为了验证 算法的有 ＡＣ ． ＡＷＰＳＡＣ 效性，在平衡杆和水洼世界实验中对 ＡＷＰＳ 算法进行仿真 实验结果表明 算法在两个实验中均 ＡＣ ． ＡＷＰＳＡＣ