面向大语言模型应用的数据服务平台研究.pdfVIP

第2期无线互联科技No.2

2025年1月WirelessInternetScienceandTechnologyJanuary,2025

面向大语言模型应用的数据服务平台研究

121

鞠炜刚,汪鹏,王佳

(1.中兴通讯股份有限公司,江苏南京210012;2.东南大学,江苏南京210096)

摘要:大语言模型应用效果依赖于高质量数据,从原始语料构建训练数据集和检索增强知识的过程

中,端到端的数据管理和处理变得至关重要。当前数据服务面临着因数据处理质量差而影响大语言

模型应用效果、数据准备效率低、实现的高复杂性和高成本等问题。为解决这些问题,文章提出一种

面向大语言模型的数据协同服务方案,对原始语料、数据集和知识处理进行有效协同,基于算子可视

化编排的自动化处理技术和跨平台统一计算调度框架,设计实现了一种端到端数据服务平台,能有效

满足各类大语言模型应用对于数据的不同需求。该平台提升了数据质量、处理效率和灵活性,降低了

成本,显著增强了大模型应用效果,具有较强的通用性和广阔的应用前景。

关键词:大语言模型;协同服务;算子可视化编排;计算调度;数据服务平台

中图分类号:TP391文献标志码:A

0引言1相关技术研究

+

国家提出发展新质生产力,其中“人工智能”应1.1大语言模型应用的数据处理和系统构建

[1]面向大语言模型的应用,一般须要将大语言模型

用是重要方向。随着ChatGPT等大语言模型应用