用于Transformer类模型训练的矩阵乘法器.pdfVIP

  • 29
  • 0
  • 约2.37万字
  • 约 22页
  • 2023-09-13 发布于四川
  • 举报

用于Transformer类模型训练的矩阵乘法器.pdf

本发明提供了用于Transformer类模型训练的矩阵乘法器,包括M行N列个脉动阵列,所述脉动阵列是二维的,通过R行C列个相互连接的处理单元PE构成,每个处理单元PE均包括1个乘法器、1个加法器、2个内部寄存器、1个左侧多路选择器,以及2个右侧多路选择器;所述左侧多路选择器能够选择乘法器的输入是来自处理单元PE外部或是保持上一周期的输入,当选择保持上一周期的输入时,处理单元PE以权重保持WS数据流工作;本发明设计了一种可重构的处理单元(PE),可以在训练的不同阶段和不同周期灵活地支持多种数据流,

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116738135 A (43)申请公布日 2023.09.12 (21)申请号 202310772645.6 G06N 3/084 (2023.01)

文档评论(0)

1亿VIP精品文档

相关文档