CN119597394A 模型虚拟化部署方法、装置、存储介质及计算机设备 （广州趣研网络科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119597394A

(43)申请公布日2025.03.11

(21)申请号202411422930.6

(22)申请日2024.10.12

(71)申请人广州趣研网络科技有限公司

地址510220广东省广州市海珠区新港东

路2429号首层自编231房

(72)发明人谢振家李业华徐志坚

(74)专利代理机构北京集佳知识产权代理有限

公司11227

专利代理师吴玲

(51)Int.Cl.

G06F9/455(2018.01)

G06F9/445(2018.01)

G06F9/50(2006.01)

权利要求书3页说明书12页附图6页

(54)发明名称

模型虚拟化部署方法、装置、存储介质及计

算机设备

(57)摘要

CN119597394A本申请提供的模型虚拟化部署方法、装置、存储介质及计算机设备，当获取到用户在预先创建的至少一个类型的至少一个模型版本下选择的目标模型后，可以先确定部署目标模型时使用的推理框架和至少一个资源，然后根据部署目标模型时使用的资源数量创建对应数量的虚拟实例，并将虚拟实例与对应规格资源下配置的k8s服务中的指定pod绑定后，将目标模型部署至指定pod；该过程中，由于本申请预先将模型推理服务所需的资源划分为不同的规格，且每种规格的资