训推一体平台架构设计与关键技术研究.pdf

ComputerScienceandApplication计算机科学与应用,2023,13(9),1748-1755

PublishedOnlineSeptember2023inHans./journal/csa

/10.12677/csa.2023.139173

训推一体平台架构设计与关键技术研究

梁秉豪，张传刚

浪潮通信信息系统有限公司，山东济南

收稿日期：2023年8月21日；录用日期：2023年9月19日；发布日期：2023年9月26日

摘要

近年来，以ChatGPT为代表的大规模预训练模型不断突破AI技术瓶颈，AI应用场景碎片化问题有望在短

期内从根本上得到解决。未来，集中式AI应用研发将会取代传统的小作坊式生产，这一趋势对支撑AI模

型训练、微调和部署等环节的人工智能平台提出了更高的要求。本文针对主流人工智能平台存在部分问

题，设计了一套训练、推理一体化平台。该平台通过工作流引擎实现了机器学习流水线的高效调度，利

用虚拟化和容器化技术解决了硬件资源分配和调度问题，此外基于自动化表单工具实现了算子的组件化

和插件化管理。本文所设计的训推一体平台将有效降低AI应用的开发门槛，促进AI应用集中式和规模化

生产，推动大规模预训练模型快速渗透到各个垂直行业应用场景。

关键词

预训练大模型，训推一体，任务调度，算力调度，自动表单

ArchitectureDesignandKeyTechnology

ResearchofTraining-ReasoningIntegrated

Platform

BinghaoLiang,ChuangangZhang

InspurCommunicationInformationSystemCo.,Ltd.,JinanShandong

stthth

Received:Aug.21,2023;accepted:Sep.19,2023;published:Sep.26,2023

Abstract

Inrecentyears,thelarge-scalepre-trainedmodelrepresentedbyChatGPThascontinuouslybro-

kenthroughtheexistingbottleneckofAItechnology,andtheproblemoffragmentationofAIap-

plicationisexpectedtobefundamentallysolvedintheshortterm.Inthefuture,centralizedAIap-

plicationdevelopmentwillreplacetraditionalindividualworkshopproduction,andthistrend

文章引用:梁秉豪,张传刚.训推一体平台架构设计与关键技术研究[J].计算机科学与应用,2023,13(9):1748-1755.

DOI:10.12677/csa.2023.139173

梁秉豪，张传刚

putshigherrequirementsonartificialintelligenceplatformsthatsupportAImodeltraining,

fine-tuninganddeployment.Aimingattheexistingproblemsinthemainstreamartificialintelli-

genceplatform,thispaper