（可公开）潘欣-12.5-最终版-潘欣-深度学习平台开发和应用.pdfVIP

深度学习平台的开发和应用 潘欣 Xin Pan 百度 架构师 潘欣 架构师 • 百度深度学习技术平台部架构师，主要负责 PaddlePaddle深度学习框架开发相关工作。 • 在加入百度前，曾参与开发Google文件系统， 数据库系统和TensorFlow。对TensorFlow的 Eager Execution, Profiling, TPU做出了核心贡 献。 • 在计算机视觉CVPR，云计算SoCC等会议发 表论文。 • 接口和编程模式 • 中间表达和异构硬件 • 数据处理 • 业务应用 接口和编程模式 • TensorFlow的Public Python API超过了3000个 • 除掉contrib还剩下接近2000个 ，需要向后兼容： /guide/version_compat • 很多功能重复的API ，deprecated API ，名字类似但是计算逻辑或者性 能有差异的API • PaddlePaddle的Public Python API超过了400个 • 挑战：让50~100人的团队设计出数百个不后悔的API 接口和编程模式 • API experiemental vs standard namespace • 新功能的API ，在不稳定前，放在一个隔离的API namespace下，比如experimental ，contrib。如 paddle.contrib.strange_api。用户可以容易判断API的稳定性。等到API稳定后，从实验的 namespace下迁移到正式的namespace。 • API Serialization • 所有Python API序列转成一个API文本来表示 (python inspect, op proto) • 代码提交时，自动生成最新API文本，通过git diff可以直观发现API的修改。API的修改需要API committee多人review。 接口和编程模式 • Declarative Programming ：”What” should be done. • 如TensorFlow静态图模式, SQL • 不易debug ，执行时的逻辑和声明的代码分离。不易表达复杂逻辑，动态逻辑，不易混用第三方库，依赖框架本 身算子的完备性。“易于”深度优化，执行前包含全局的逻辑。 • Imperative Programming: “How”to get things done. • 如Pytorch, C/C++, Java • 容易debug ，逐行执行，随意修改输入，打印输出，逐个模块验证。容易表达复杂逻辑。不易深度优化，无法预 知未来，难以判断当前是否可以特殊处理。易于表达复杂逻辑，可利用Python的灵活性和numpy等丰富组件。 接口和编程模式 接口和编程模式 • Imperative越来越流行 • ICLR 2018-2019 ，TensorFlow引用 228-266, Pytorch引用 87-252 • TensorFlow 2.0 将把Eager Execution设为默认执行模式 • 深度学习算法的灵活化 ，多样化 • Tree, Hierarchical, GAN, Pointer Network, Neural Turing Machine, Reinforcement Learning • Declarative的优势未能充分发挥 • 上千个硬件相关的黑盒算子难以参与全局优化。Control Flow的分析困难。核心算子的人工fusion往往更有效，长尾算子的优 化成本太高。 接口和编程模式 • Imperative模式的开发难点和优化策略 • Python的执行效率低。核心逻辑通过C++实现，异步调度，C++层返回一个Handle(类似 future) ，Pytho