昇腾系列AI处理器开发套件介绍.pptx

一站式AI集成开发环境Mind Studio 华为昇腾系列AI处理器开发套件介绍 目录 01 面向开发者的硬件平台 02 AI开发痛点 03 一站式AI集成开发环境 – Mind Studio 04 Mind Studio主要工具介绍 05 Mind Studio未来探索方向 华为昇腾310芯片介绍 性能 16TOPS @Int8， 8TOPS @Fp16 接口 8x Channel LPDDR4X PCIe 3.0, USB, GE, Misc IO 封装 15mm x 15mm 功耗 8W Note: 这是典型配置下的数据, 根据场景需求有高性能和低功耗版本供选择 Cube L S U Cache/Buffer Vector Scalar FHD Video Image Codec Peripherals/IO DDR System Cache/ Buffer Da Vinci Core ARM N Atlas 200 Up to 16Tops 适用于各种嵌入式的智能产品中 Atlas开发者套件 高性能, 易扩展 丰富样例，易上手 可以开发机器人, ADAS，安防，新零售 以及语音类设备等 Atlas developer suite Atlas AI acceleration module Atlas AI acceleration card 基于昇腾310面向AI开发者的可选择硬件平台 Atlas 600 半高半长AI加速卡 64TOPS/75W 4 一站式的集成开发环境Mind Studio 关键特性： 全生命周期的一站式开发平台 多种开发, 调试, 调优和部署的实用工具 图形化操作和显示界面 内置丰富的高性能算子库以及自定义算子开发工具 To Build To Run To Manage 5 图形化业务编排工具 - Matrix 零编码 通过拖拽的方式编排工程 ，流程代码通过DSL自动生成， 用户“零编码”开发AI应用。 化繁为简 降低编码笔误等引入Bug的概率. 以前需要花费好几天才 能完成的开发工作，现在几分钟即可完成。 可视化 提供丰富的可视化视图，包括数据流、模型、结果信息、 系统分析全部可视化。 6 自定义算子开发工具 – Tensor Engine Operator Description Parameters Template Compile OP Register Run 一站式可视化自动完成 Input 7 离线推理模型生成工具 – OMG/OME Frameworks 将训练的模型进行优化, 进而提高模型在部署时的推理性能 提升throughput 降低latency .om file Model file 图优化 Cost Model Auto Tiling 内存复用 量化压缩 模型加密 层间融合 Data Result CMD Model Loader Data Prepare CMD Parser Scheduler 8 全流程性能分析工具 - Profiling 全系统 性能瓶颈分析 软硬件 一体化协同 可视化 性能分析界面 多样化 性能分析方式 细粒度 微架构指标 从上到下 从粗到细 9 算子性能调优工具 - Profiler 细粒度 图形化 时序维度 空间维度 10 其他各种实用工具 “黑匣子” 工具 比对工具 在“临终”之前把系统信息记录下来并存到非易失性存储设备 寄存器状态 系统Crash前的最后进程,语句和函数栈 运行轨迹等 比对工具可以实现在模型转换量化过程中逐层比对, 快速定位问题 11 未来的一些增强方向 数据处理工具 更多的数据管理工具 实现数据清洗 数据生成 数据分布分析等 增强计算框架 支持现场学习 强化学习 端云协同 自动调优工具 大幅度提升开发和部署效率 13 总结 训练 面向各类AI开发者全面易得的AI开发硬件平台 一站式全生命周期的AI集成开发管理工具套件 把AI带入各行各业 生成AI模型 推理 Edge DC Accl Cloud Terminal AI 开 发 者 沃 土 谢谢聆听