深度学习模型部署实验平台设计与实现.pdfVIP

信息与电脑

2024年第18期InformationComputer软件开发与应用

深度学习模型部署实验平台设计与实现

杨超

（南京邮电大学计算机学院、软件学院、网络空间安全学院，江苏南京210023）

摘 要：深度学习作为人工智能领域的重要分支，在近年来的飞速发展中产生了大量的模型。模型需要对外提供服

务才能产生价值，因此如何对模型进行服务化部署，成为当前需要关注的方向。本文研究了深度学习主流框架的使用情

况，分析了主流深度学习框架Tensorflow和Pytorch模型服务化部署的特点，调研了应用虚拟化容器技术和容器自动化

编排技术进行模型服务化部署的可行方案，探索了实验平台的使用模式，并以此为基础，对实验平台进行了设计与实现。

关键词：模型部署；深度学习；容器化；Kubernetes

中图分类号：TP249   文献标识码：A   文章编号：1003-9767（2024）18-085-03

DesignandImplementationofDeepLearningModelDeployment

ExperimentalPlatform

YANGChao

(SchoolofComputerScience,CollegeofSoftware,CollegeofCyberspaceSecurity,NanjingUniversityofPostsand

Telecommunications,NanjingJiangsu210023,China)

Abstract:Asanimportantbranchinthefieldofartificialintelligence,deeplearninghasproducedalargenumberof

modelsintherapiddevelopmentinrecentyears.Modelsneedtoprovideservicestotheoutsideworldinordertogenerate

value,sohowtodeploymodelsasaservicehasbecomeacurrentdirectionthatneedsattention.Inthispaper,westudythe

useofmainstreamframeworksfordeeplearning,analyzethecharacteristicsofmodelservitizationdeploymentofmainstream

deeplearningframeworksTensorflowandPytorch,investigatethefeasiblesolutionsformodelservitizationdeploymentby

applyingvirtualizationcontainertechnologyandcontainerautomationorchestrationtechnology,exploretheusemodeofthe

experimentalplatform,andusethisasthebasisforthedesignandimplementationoftheexperimentalplatform.

Keywords:modeldeployment;deeplearning;containerization;Kubernetes

0 引言和使用。而训练得到的深度学习模型，需要对外提供服务