Nesterovs Punctuated Equilibrium – arg min blog英文清晰版.pdfVIP

arg minblog About  Subscribe Nesterovs Punctuated Equilibrium Ben Recht  •  Apr 3, 2017 Ed. Note: this post is co­written with Roy Frostig. Following the  remarkable success of AlphaGo, there has been a groundswell of interest in reinforcement learning for games, robotics, parameter tuning,  and even computer networking. In a landmark new paper by Salimans, Ho, Chen, and Sutskever from OpenAI, the  authors  show that  a  particular class  of  genetic algorithms  (called  Evolutionary  Strategies)  gives excellent performance on a variety of reinforcement learning benchmarks. As optimizers, the application of genetic algorithms raises red flags and usually causes us to close browser windows. But fear not! As we will explain, the particular algorithm deployed happens to be a core method in optimization, and the fact that this method is successful sheds light on the peculiarities of reinforcement learning more than it does about genetic algorithms in general. Evolution Strategies is Gradient Ascent Let’s look at the Evolutionary Strategies (ES) algorithm proposed in the paper. The goal is to maximize some reward function R(x) where x is  ­dimensional. Their algorithm  computes  the  reward  function  at  small perturbations away from  its current state, and then aggregates the  returned function values  into a  new state. To  be precise, they sample a collection of n random directions ϵ  to be normally distributed with i mean zero and covariance equal to the identity. Then the algorithm updates it state according to the rule. n α = + R( + σ ) . x x ∑ x ϵ ϵ t+1 t t i i