7 强化学习新加坡国立大学张戎：深度学习与强化学习.docx

【强化学习】新加坡国立高校张戎：深度学习与强化学习 张戎 专知 2017-12-10 原文 来源： /developer/article/1006637 随着 DeepMind 公司的崛起，深度学习和强化学习已经成为了人工智能领域的抢手争辩方向。除了众所周知的 AlphaGo 之外，DeepMind 之前已经使用深度学习与强化学习的算法构造了能够自动玩 Atari 玩耍的 AI，并且在即时战略玩耍 StarCraft II 的玩耍 AI 构建上做出了本人的贡献。虽然目前还没有成功地使用 AI 来打败 StarCraft II 的顶尖职业玩家，但是 AI 却能够带给大家无穷的想象力和期盼。 本篇 PPT 将会从强化学习的一些简约概念开头，渐渐引见值函数与动作值函数，以及 Q－Learning 算法。然后引见深度学习中卷积神经网络的大致结构框架。最终将会引见卷积神经网络是如何和强化学习无效地结合在一起，来实现一些简约的玩耍 AI。 之前也写过一份PPT《当强化学习遇见泛函分析》，两份 PPT 有一些反复的地方，读者选择一些看即可。之前文章从强化学习的定义动身，一步一步地给读者引见强化学习的简约概念和基本性质，并且会引见经典的 Q-Learning 算法。文章的最终一节会引见泛函分析的一些基本概念，并且使用泛函分析的经典定理 Banach Fixed Point Theorem 来证明强化学习中 Value Iteration 等算法的收敛性。 末尾附slide下载。 ? 人工智能赛博物理操作系统 AI-CPS OS “人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今日，企业领导者必需了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS构成数字化+智能化力气，实现行业的重新规划、企业的重新构建和自我的焕然重生。 AI-CPS?OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。假如不能实现跨功能的更大规模融合，没有颠覆现状的志愿，这些将不行能实现。 领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力气，领导者必需外行业、企业与个人这三个层面都保持领先地位： 重新行业规划：你的世界观要怎样转变才算足够？你必需对行业典范进行怎样的反思？ 重新构建企业：你的企业需要做出什么样的变化？你预备如何重新定义你的公司？ 重新打造本人：你需要成为怎样的人？要重塑本人并在数字化+智能化时代保有领先地位，你必需如何去做？ AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以挂念企业将创新成果融入本身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS构成的数字化+智能化力气与行业、企业及个人三个层面的交叉，构成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置： 精细：这种力气能够使人在愈加真实、细致的层面观看与感知现实世界和数字化世界正在发生的一切，进而理解和愈加精细地进行产品共性化把握、微观业务场景大事和结果把握。 智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的力气。 高效：企业需要建立实时或者准实时的数据采集传输、模型猜想和响应决策力气，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。 不确定性：数字化变更颠覆和转变了领导者已经仰仗的思维方式、结构和实践阅历，其结果就是构成了复合不确定性这种颠覆性力气。次要的不确定性包含于三个领域：技术、文化、制度。 边界模糊：数字世界与现实世界的不断融合成CPS不只让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速集中。 AI-CPS OS构成的数字化+智能化力气通过三个方式激发经济增长： 制造虚拟劳动力，担当需要顺应性和灵敏性的简约任务，即“智能自动化”，以区分于传统的自动化处理方案； 对现有劳动力和实物资产进行有利的补充和提升，提高资本效率； 人工智能的普及，将推动多行业的相关创新，开辟簇新的经济增长空间。 给决策制定者和商业领袖的建议： 超越自动化，开启新创新模式：利器具有自主学习和自我把握力气的动态机器智能，为企业制造新商机； 迎接新一代信息技术，迎接人工智能：无缝整合人类才智与机器智能，重新 评估将来的学问和技能类型； 制定道德规范：切实为人工智能生态系统制定道德准绳，并在智能机器的开 发过程中确定愈加明晰