1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

通信网络上的逐片AI/ML模型推断.pdfVIP

  • 11
  • 0
  • 约5.78万字
  • 约 82页
  • 2023-05-28 发布于四川
  • 举报

通信网络上的逐片AI/ML模型推断.pdf

    在一个实施方式中，AI/ML模型首先被拆分为对应于该模型的子部分的若干单元块。然后，通过考虑下载时间、单元块的推断时间和/或设备约束来进行单元块的聚合。第一拆分对应于AI/ML层的第一块，其一旦被下载，就可按原样使用，并基于一些感测/感知数据生成中间结果。一旦有新的块到达，该块就被用来基于先前块的中间数据生成新的结果。由于下载和推断是并行的，因此可以比使用全顺序方法更早地生成最终结果。此外，一旦推断在块上结束，该块就可以从设备中移除。提供了若干AI/ML模型拆分方法来为不同的模型架构生成模型子集

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116171532 A (43)申请公布日 2023.05.26 (21)申请号 202180066346.X F ·施尼茨勒　 (22)申请日 2021.07.16

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >