人工智能加速器、设备、芯片及数据处理方法.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110991634 A (43)申请公布日 2020.04.10 (21)申请号 201911237525.6 (22)申请日 2019.12.04 (71)申请人 腾讯科技（深圳）有限公司 地址 518057 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 孟玉　 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 熊永强　杜维 (51)Int.Cl. G06N 3/063(2006.01) 权利要求书3页 说明书14页 附图8页 (54)发明名称 人工智能加速器、设备、芯片及数据处理方 法 (57)摘要 本申请实施例公开了一种人工智能加速器、 设备、芯片及数据处理方法；该人工智能加速器 具备第一加速并行度和第二加速并行度；该人工 智能加速器包括控制单元、计算引擎、分组控制 单元及分组缓存单元；分组缓存单元按照第一加 速并行度设有多个输出缓存；其中，控制单元，用 于解析神经网络模型中的目标网络层的处理指 令，得到并发指令；计算引擎，用于按照并发指令 对目标网络层的输入数据集合中的目标输入数 据块执行并行处理，得到目标输入数据块对应的 目标输出数据；分组控制单元，用于将目标输出 A 数据分组存储至分组缓存单元的至少一个输出 4 缓存中。本申请实施例可以对神经网络模型的处 3 6 1 理过程进行有效加速，合理提升神经网络模型的 9 9 0 加速效果。 1 1 N C CN 110991634 A 权　利　要　求　书 1/3页 1.一种人工智能加速器，其特征在于，所述人工智能加速器具备第一加速并行度和第 二加速并行度；所述人工智能加速器包括控制单元、计算引擎、分组控制单元及分组缓存单 元；所述分组缓存单元按照所述第一加速并行度设有多个输出缓存； 所述控制单元，用于解析神经网络模型中的目标网络层的处理指令，得到并发指令；所 述目标网络层为所述神经网络模型中的任一网络层，所述目标网络层的输入数据集合中包 括多个输入数据块，所述输入数据块的深度是按照所述第二加速并行度进行适配处理得到 的； 所述计算引擎，用于按照所述并发指令对所述输入数据集合中的目标输入数据块执行 并行处理，得到所述目标输入数据块对应的目标输出数据；所述目标输入数据块为所述输 入数据集合中的任一个输入数据块； 所述分组控制单元，用于将所述目标输出数据分组存储至所述分组缓存单元的至少一 个输出缓存中。 2.如权利要求1所述的人工智能加速器，其特征在于，所述控制单元还用于解析所述目 标网络层的处理指令，得到搬移指令； 所述人工智能加速器还包括： 全量存储单元，用于存储所述目标网络层的输入数据集合和所述目标网络层的输出数 据集合，所述输出数据集合中包含所述多个输入数据块分别对应的输出数据； 搬移引擎，用于按照所述控制单元解析得到的搬移指令在所述全量存储单元和所述分 组缓存单元之间执行数据的搬移操作。 3.如权利要求2所述的人工智能加速器，其特征在于，所述搬移指令包括：加载搬移指 令或存储搬移指令； 所述搬移引擎接收所述控制单元发送的加载搬移指令，并按照所述加载搬移指令将所 述全量存储单元中的输入数据块搬移至所述分组缓存单元；或者， 所述搬移引擎接收所述控制单元发送的存储搬移指令，并按照所述存储搬移指令将所 述分组缓存单元中缓存的输出数据搬移至所述全量存储单元。 4.如权利要求3所述的人工智能加速器，其特征在于，所述第