[电脑基础知识]人工智能.pptVIP

3.5 近似策略迭代（9） 3.5.2 基于线性带参近似的模型无关策略评估 投影Bellman等式的矩阵形式 策略评估映射的矩阵形式 为： 为Q的向量表示， 为 的向量表示，这里 为 的矩阵表示， 为h的矩阵表示，如果 且 ， 则 ，否则为0 Control systems are making a tremendous impact on our society. 3.4 近似值迭代（1） 为了在大规模或连续状态空间中应用值迭代算法，值函数必须近似表示。 3.4 近似值迭代（2） 3.4.1 基于模型的带参近似值迭代 精确Q值迭代 近似Q值迭代 3.4 近似值迭代（3） 3.4.1 基于模型的带参近似值迭代 近似Q值迭代算法开始于任意参数向量θ0，且在每一轮l，根据P,T和F的映射组合来更新该向量： 对于给定的 ，可以求出在 中的贪心策略： 3.4 近似值迭代（4） 3.4.1 基于模型的带参近似值迭代 停止条件： 1. 2. θl+1 与θl之间的距离小于某个阈值 3.4 近似值迭代（5） 3.4.2 模型无关的带参近似值迭代 离线模型无关的近似值迭代 在离线模型无关的情况下，迁移函数f及奖赏函数?都是未知的。只得到一批迁移样本： 样本： 1、单独的，样本属于一个序列集。 2、一个单个的序列，满足 。 3.4 近似值迭代（6） 3.4.2 模型无关的带参近似值迭代 离线模型无关的近似值迭代 拟合Q值迭代：是一种使用批量样本的模型无关的近似Q值迭代算法。 与基于模型的算法相比，主要改动： 1、算法中的投影映射仅针对当前的样本数据 2、由于f和?都未知，在每个迭代步l，Q值函数的计算只能基于已知的样本数据。 原： 现： 3.4 近似值迭代（7） 3.4.2 模型无关的带参近似值迭代 拟合Q值迭代即可用于确定环境又可用于随机环境问题： 样本点的Q值： 确定环境： 替换是准确的。 随机环境： 在拟合Q-值迭代中，只使用样例，投影实际是找到θl,使得： 对于随机环境问题，算法依然是有效的。 3.4 近似值迭代（8） 3.4.2 模型无关的带参近似值迭代 在确定情况下 拟合Q值迭代=基于模型的近似Q值迭代 3.4 近似值迭代（9） 3.4.2 模型无关的带参近似值迭代 神经拟合Q值迭代（Riedmiller, 2005） 神经网（带参函数逼近器）与拟合Q值迭代结合。 无参逼近器拟合Q值迭代 使用更广泛。 在不同的迭代步使用不同的批量样本数据，使得样本中包含更多的信息 Ernst et al. (2006):通过拟合Q值迭代得到的解产生新的样本数据。 3.4 近似值迭代（10） 3.4.2 模型无关的带参近似值迭代 在线模型无关的近似值迭代 基于lookup table的Q学习更新规则： 基于梯度下降的Q学习 近似Q值函数： 真实的最优Q值函数： 目标：最小化最优值与目前Q值之间的均方误差 3.4 近似值迭代（11） 3.4.2 模型无关的带参近似值迭代 在线模型无关的近似值迭代 无法得到，使用如下式代替： 原式变为： 对于线性带参逼近器： 3.4 近似值迭代（12） 3.4.2 模型无关的带参近似值迭代 在线模型无关的近似值迭代