一种最大集合期望损失的多目标Sarsa(λ)算法.pdfVIP

第 期 电 子 学 报 ８ Ｖｏｌ．４１ Ｎｏ．８ 年 月 ２０１３ ８ ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ａｕｇ． ２０１３ 一种最大集合期望损失的多目标 Ｓａｒｓａ（）算法 λ ， １２ １ １ １ １ 刘 全 ，李 瑾 ，傅启明 ，崔志明 ，伏玉琛 （ 苏州大学计算机与科学学院，江苏苏州 ； 符号计算与知识工程教育部重点实验室（吉林大学），吉林长春 ） １． ２１５０００２． １３００１２ 摘 要： 针对ＲｏｂｏＣｕｐ这一典型的多目标强化学习问题，提出一种基于最大集合期望损失的多目标强化学习算 法 （）算法 该算法预估各个目标的最大集合期望损失，在平衡各个目标的前提下选择最佳联合动作以产 ＬＲＧＭＳａｒｓａλ ． 生最优联合策略 在单个目标训练的过程中，采用基于改进 误差函数的 （）算法，并对动作选择概率函数和 ． ＭＳＢＲ Ｓａｒｓａλ 步长参数进行优化，解决了强化学习在使用非线性函数泛化时，算法不稳定、不收敛的问题 将该算法应用到 ． ＲｏｂｏＣｕｐ 射门局部策略训练中，取得了较好的效果，表明该学习算法的有效性． 关键词： 多目标；自适应Ｓａｒｓａ（）；最大集合期望损失；强化学习；机器人足球 λ 中图分类号： 文献标识码： 文章编号： （ ） ＴＰ１８１ Ａ ０３７２２１１２２０１３０８１４６９０５ 电子学报 ： ： ： ＵＲＬ ｈｔｔｐ／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎ ＤＯＩ １０．３９６９／ｊ．ｉｓｓｎ．０３７２２１１２．２０１３．０８．００３ （） ＡＭｕｌｔｉｐｌｅＧｏａｌＳａｒｓａ ＡｌｇｏｒｉｔｈｍＢａｓｅｄ λ ｏｎＬｏｓｔＲｅｗａｒｄｏｆＧｒｅａｔｅｓｔＭａｓｓ ， １２ １ １ １ １ ， ， ， ， ＬＩＵＱｕａｎ ＬＩＪｉｎ ＦＵＱｉｍｉｎｇＣＵＩＺｈｉｍｉｎｇＦＵＹｕｃｈｅｎ （ ， ， ， ， ； １．ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＳｏｏｃｈｏ