深度增强学习.pdfVIP

面向自然语言处理的机器学习 近一年主要进展 孙 栩 北京大学 xusun@pku.edu.cn 主要内容  回顾  主要进展  全局学习 (Global Learning)  动态记忆网络 (Dynamic Memory Networks)  深度增强学习 (Deep Reinforcement Learning)  展望 2 回顾  近几年，机器学习领域的重要突破集中于深度学习领域  序列到序列模型(Sequence to Sequence Model)  注意机制(Attention Mechanism)  深度残差学习(Deep Residual Learning)  神经图灵机(Neural Turing Machine)  丢弃算法(DropOut)  深度增强学习(Deep Reinforcement Learning) Goodfellow et al. Deep Learning. 3 回顾  近一年来，在主流会议中有以下工作发表  ICML 2016 Best Papers  Dueling Network Architectures for Deep Reinforcement Learning (Wang et al.)  Pixel Recurrent Neural Networks (van den Oord et al.)  Ensuring Rapid Mixing and Low Bias for Asynchronous Gibbs Sampling (Sa et al.)  NIPS 2015 Best Papers  Competitive Distribution Estimation: Why is Good-Turing Good (Orlitsky Suresh)  Fast Convergence of Regularized Learning in Games (Syrgkanis et al.)  这些工作大多不与自然语言处理直接相关  基础理论  游戏对抗  图像生成 4 回顾：以自然语言处理的视角  自然语言处理相关领域，近一年有一些值得注意的进展  全局学习  动态记忆网络  深度增强学习  这些进展主要解决以下挑战  单点分类难以捕捉输出的全局结构化信息  模型与任务紧密耦合，缺少通用化深度学习框架 5 主要进展 深度增 全局 强学习 学习 动态记忆 网络 6 全局学习  借鉴CRF全局归一化的思想  最大化输出序列在所有可能输出序列中的概率  而不是最大化每一步的输出在该步所有可能输出中的概率 