1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种推理框架动态更新方法、装置、设备及可读存储介质.pdfVIP

  • 3
  • 0
  • 约1.23万字
  • 约 12页
  • 2023-07-02 发布于四川
  • 举报

一种推理框架动态更新方法、装置、设备及可读存储介质.pdf

    本申请公开了一种推理框架动态更新方法，包括：获取推理框架，推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；接收更新请求，更新请求为增加或删除可选组件的请求；根据更新请求，修改Ingress模块的路由规则，使得请求依次被调度至推理框架的各个组件。可见，该方法通过推理框架实现推理过程完整描述，将推理框架模块化并设置Ingress模块的路由规则，因此可以动态进行组件的增加和删除，无需重新部署整个推理服务，显著提升了推理过程的灵活性。此外，本申

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113723610 A (43)申请公布日 2021.11.30 (21)申请号 202111006550.0 (22)申请日 2021.08.30 (71)申请人 苏州浪潮智能科技有限公司

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >