1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于Kserve的批处理方法、装置、设备及介质.pdfVIP

  • 1
  • 0
  • 约2.02万字
  • 约 19页
  • 2023-05-13 发布于四川
  • 举报

一种基于Kserve的批处理方法、装置、设备及介质.pdf

    本发明涉及一种基于Kserve的批处理方法、装置、设备和存储介质，所述方法包括：接收用户发送的数据计算请求，将其加入批处理队列中；判断批处理队列中的请求数量是否达到当前最大批处理值；若达到，则将批处理队列中的所有请求数据出队并进行推理计算；若未达到，则根据服务响应时间阈值、推理计算响应时间计算请求最大延迟值；推理计算响应时间为与当前最大批处理值数量相同的多个数据计算请求集中进行推理计算所消耗的时间；当批处理队列队尾的数据计算请求的等待时间达到请求最大延迟值时，将所有请求数据出队并进行推理计算。通

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114647497 A (43)申请公布日 2022.06.21 (21)申请号 202210306069.1 (22)申请日 2022.03.25 (71)申请人 苏州浪潮智能科技有限公司 地址 2

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >