人工智能与信息社会课件:607熟能生巧:持续更新.pdf 9页

  • 0
  • 0
  • 0
  • 约1.43千字
  • 2020-08-13 发布

人工智能与信息社会课件:607熟能生巧:持续更新.pdf

文档工具:
    1. 1、本文档共9页,可阅读全部内容。
    2. 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。
    3. 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
    4. 文档侵权举报电话:19940600175。
    人工智能与信息社会 基于神经网络的智能系统II:熟能生巧-持续更新 陈斌北京大学gischen@pku.edu.cn 学习流程 〉 初始化Q函数 〉 不断重复每一局游戏 选择动作 得到回报 更新Q函数 〉 最终得到一个好的Q 函数 北京大学地球与空间科学学院/ 陈斌/2018 动作-状态序列 〉 每一局游戏都是一个动作状态序列 〉 下一个状态只和当前的状态+动作有 关 (马尔可夫性质) 北京大学地球与空间科学学院/ 陈斌/2018 长期回报 〉 除了试错式搜索之外,强化学习的另一个重 要的特点是回报的滞后性。 〉 当前状态下的动作所产生的回报不仅取决于 下一个状态,还取决于整个序列之后的每一 个状态。 北京大学地球与空间科学学院/ 陈斌/2018 回报率 〉 当前的动作对下一状态的影响是最直接的, 对后续状态影响没那么直接。 〉 某些动作产生的当前回报值比较高,但从长 远来看,可能并没有那么高。 〉 因此我们用一个回报率来平衡下一状态回报 和更远状态回报。 0.9x 状态1 +0.81x 状态2 +0.729x 状态3 +…… 北京大学地球与空间科学学院/ 陈斌/2018 回报函数 〉 每一次游戏会产生不同的状态动作序列,即 每一次对后续状态的回报计算都不相同。 〉 我们用后续状态的期望,即所有之后的序列 的回报平均值作为回报函数。 〉 回报函数值就是Q值。 北京大学地球与空间科学学院/ 陈斌/2018 学习过程 〉 每完成一局之后,就持续更新Q函数。 〉 完成的局数越多,更新的次数就越多,结果 也越准确。 旧的Q值 新的Q值 这次尝试后 更新的回报 北京大学地球与空间科学学院/ 陈斌/2018 学习率 〉 既要利用好已经学好的值,也要善于学习新 的值。 〉 这两者就通过学习率来平衡,一开始学习率 可以大一些,最后稳定时学习率可以小一些。 旧的Q值 新的Q值 这次尝试后 学习率 更新的回报 北京大学地球与空间科学学院/ 陈斌/2018 熟能生巧 〉 通过上述公式学习,在足够多的尝试之后, AI所学到的状态动作值函数Q就能够达到一 个较优的结果。 〉 再根据这个Q函数来选择动作,就 “熟能生 巧”了! 北京大学地球与空间科学学院/ 陈斌/2018

    文档评论(0)

    • 内容提供方:woxiangang
    • 审核时间:2020-08-13
    • 审核编号:5221144014002331

    相似文档