1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种异构推理后端上的可扩展负载均衡方法及系统.pdfVIP

  • 5
  • 0
  • 约1.04万字
  • 约 10页
  • 2023-11-25 发布于四川
  • 举报

一种异构推理后端上的可扩展负载均衡方法及系统.pdf

    本发明公开了一种异构推理后端上的可扩展负载均衡方法及系统，包括如下步骤：S1：将多个推理后端中的其中一个后端作为黄金标准后端，基于黄金标准后端估计其他推理后端的推理精度；S2：计算所有推理后端的优先级，以推理后端由高到低的优先级排序作为步骤S3的后端选择顺序；S3：设定控制阈值，计算上一个查询队列和当前查询队列的等待时间，若当前查询队列的等待时间大于控制阈值，则根据步骤S2中的优先级排序添加一个高优先级的推理后端，若上一个查询队列的等待时间小于等于控制阈值，则根据步骤S2中优先级排序去掉一个低优

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117112239 A (43)申请公布日 2023.11.24 (21)申请号 202311373531.0 (22)申请日 2023.10.23 (71)申请人 合肥综合性国家科学中心人工智能

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >