把AI推向新高度-Huawei.PDF

封面文章 Cover Story 封面文章 以原生全场景的全栈解决方案 文/党文栓 把AI推向新高度 华为首席战略架构师 018 年 10 月 10 日，在上海举 其中，A s c e n d （ 腾）是基于 一训练和推理框架；应用使能层可以 昇 办的华为全联接大会上，华为 统一、可扩展架构的系列化A I I P 和 提供全流程服务、分层API 和预集成方 2轮值董事长徐直军发布了华为 芯片，包括Max 、Mini 、Lite 、Tiny 和 案。 人工智能发展战略，同时发布了全栈全 Nano五个系列；CANN是芯片算子库和 本文将从下向上逐一解读全栈AI 解 场景AI 解决方案，包括Ascend 、CANN、 高度自动化算子开发工具；MindSpore 决方案这四层的目标定位、架构和关键 MindSpore、应用使能四个层次。 为支持端、边、云独立的和协同的统 技术、产品及服务。 4 2018.12 第 期 81 以原生全场景的全栈解决方案，把AI推向新高度 Ascend层 要进行本地训练和学习。为了应对如此巨大的动 态需求，我们开发了一系列IP和芯片，从最小的 Ascend 即IP和芯片组层，它是完整堆栈解决方 Ascend Nano一直到云端使用的Ascend Max 。 案的基础层，目标是在任何场景下以最低成本提 在开发系列化的IP和芯片时，是否要采用统一 供最佳性能。 架构，是一个十分关键的选择。诚然，统一架构 不同组织的不同应用可能选择不同的部署场 的好处很明显：只需一次算子开发，然后可在任 景，每种可能的场景都是独特的，而所有可能的 何场景下使用；跨场景一致开发和调试体验；更 场景都同样重要。因此，我们设定的目标是在任 重要的是，一旦完成某个芯片的算法开发，就可 何场景下，以最低成本提供最佳性能。这并不是 顺利将其迁移到面向其它场景的其它IP或芯片上。 一件容易的事。普遍性总是伴随着多样性，针对 然而，统一架构带来的挑战也是前所未有 不同的部署场景，所需的计算性能可能从耳机的 的。为了实现巨大的计算可扩展性，可以采用堆 20MOPS到IPC的20TOPS，再到云的200TOPS以上， 叠扩展（Scale out ）的方法，首先设计针对最小或 这意味着超过1千万倍的动态范围；功率预算可能 较小计算场景进行优化的架构，然后通过堆叠来 会从1mW到200W以上，超过20万倍的动态范围； 匹配最大的计算场景，但这将不可避免地增大芯 期望的模型大小可以从小到10KB到超过300MB； 片面积和功耗，直至难以接受；或者可以选择向 在延迟要求方面，也有100多倍的变化。 下缩小（Scale in ）的方法，即首先设计针对最大 在所有场景下都需要用到推理，不过，是否 或较大计算场景进行优化的架构，然后通过精细 需要在云和边缘以外的场景中进行训练或学习？ 分割来匹配最小的计算场景，但这必将导致任务 我们的观点是肯定的，因为我们将数据隐私保护 调度和软件设计异常复杂，并且可能由于电流泄 定义为最高优先级，只要存在隐私顾虑，就需 漏而使低功耗目标无法达成。除此以外，在各种 华为的AI解决方案 AI 应用 HiAI Service General APIs Advanced APIs Pre-integrated Solutions 应用使能 HiAI Engine Mode