人工智能与信息社会课件：607熟能生巧：持续更新.pdfVIP

人工智能与信息社会 基于神经网络的智能系统II：熟能生巧-持续更新 陈斌北京大学gischen@pku.edu.cn 学习流程 〉 初始化Q函数 〉 不断重复每一局游戏 选择动作 得到回报 更新Q函数 〉 最终得到一个好的Q 函数 北京大学地球与空间科学学院/ 陈斌/2018 动作-状态序列 〉 每一局游戏都是一个动作状态序列 〉 下一个状态只和当前的状态+动作有 关 （马尔可夫性质） 北京大学地球与空间科学学院/ 陈斌/2018 长期回报 〉 除了试错式搜索之外，强化学习的另一个重 要的特点是回报的滞后性。 〉 当前状态下的动作所产生的回报不仅取决于 下一个状态，还取决于整个序列之后的每一 个状态。 北京大学地球与空间科学学院/ 陈斌/2018 回报率 〉 当前的动作对下一状态的影响是最直接的， 对后续状态影响没那么直接。 〉 某些动作产生的当前回报值比较高，但从长 远来看，可能并没有那么高。 〉 因此我们用一个回报率来平衡下一状态回报 和更远状态回报。 0.9x 状态1 +0.81x 状态2 +0.729x 状态3 +…… 北京大学地球与空间科学学院/ 陈斌/2018