第10章_强化学习概要1.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 强化学习 史忠植 * Framework of POMDP POMDP由六元组S, A, R, P,Ω,О定义。其中S, A, P, R定义了环境潜在的马尔可夫决策模型上，Ω是观察的集合，即系统可以感知的世界状态集合，观察函数О：S×A→PD（Ω）。系统在采取动作a转移到状态s′时，观察函数О确定其在可能观察上的概率分布。记为О（s′, a, o）。 [1] Ω可以是S的子集，也可以与S无关 * 强化学习 史忠植 * POMDPs What if state information (from sensors) is noisy? Mostly the case! MDP techniques are suboptimal! Two halls are not the same. * 强化学习 史忠植 * POMDPs – A Solution Strategy SE: Belief State Estimator (Can be based on HMM) П: MDP Techniques * 强化学习 史忠植 * POMDP_信度状态方法 Idea: Given a history of actions and observable value, we compute a posterior distribution for the state we are in (belief state) The belief-state MDP States: distribution over S (states of the POMDP) Actions: as in POMDP Transition: the posterior distribution (given the observation) Open Problem : How to deal with the continuous distribution? * 强化学习 史忠植 * The Learning Process of Belief MDP * 强化学习 史忠植 * Major Methods to Solve POMDP 算法名称 基本思想 学习值函数 Memoryless policies 直接采用标准的强化学习算法 Simple memory based approaches 使用k个历史观察表示当前状态 UDM(Utile Distinction Memory) 分解状态，构建有限状态机模型 NSM(Nearest Sequence Memory) 存储状态历史，进行距离度量 USM(Utile Suffix Memory) 综合UDM和NSM两种方法 Recurrent-Q 使用循环神经网络进行状态预测 策略搜索 Evolutionary algorithms 使用遗传算法直接进行策略搜索 Gradient ascent method 使用梯度下降（上升）法搜索 * 强化学习 史忠植 * 强化学习中的函数估计 RL FA Subset of states Value estimate as targets V (s) Generalization of the value function to the entire state space is the TD operator. is the function approximation operator. * 强化学习 史忠植 * 并行两个迭代过程 值函数迭代过程 值函数逼近过程 How to construct the M function? Using state cluster, interpolation, decision tree or neural network? * 强化学习 史忠植 * Function Approximator: V( s) = f( s, w) Update: Gradient-descent Sarsa: w ? w + a [rt+1 + g Q(st+1,at+1)- Q(st,at)] ?w f(st,at,w) weight vector Standard gradient target value estimated value Open Problem :