人工智能行业数据集构建及模型训练方法实践周华.pdf

人工智能行业数据集构建及模型训练方法实践

周华

北京智源人工智能研究院大模型行业应用总监

1

行业大模型落地难，难在哪里？

专业需求数据构建

大模型能力与专业业务需求对齐难行业大模型专业数据集构建难

训练技术集成演进

人员算力成本高，技术能力建设难现有IT系统的大模型集成和演进难

2

目录

一．行业数据集的制作技术分享

二．行业模型训练新范式的实践

三．NL2SQL助力大模型与传统IT系统集成

3

助力解决行业模型训练数据问题

在当前大模型时代，行业模型在推动智能化转型和创新发展中发挥着至关重要的作用，而高质量的行业

数据是提升大模型性能和实现行业应用落地的关键。

行业数据带来的裨益

行业数据现状愿景

提升模型性能：行业数据中包含专业的、领域特定的知识或

数据量少数据量足够大

业务流程；

实现应用落地：高质量的行业数据是大模型实际应用中落地

数据质量低质量足够高的关键；

增强模型适应性：行业数据使模型可以适配行业中独有的场

行业覆盖少行业覆盖多景问题或挑战；

促进创新：行业数据极大推动不同的工作模式创新

4

智源IndustryCorpus1.0：多行业中英双语数据集

数据为模型服务，模型由开发者实现。从开发者的角度来看，智源IndustryCorpus数据集有着数据规模

大，行业覆盖广，类型多，质量广，灵活度高的显著优势。

•开源数据3.4T(2.4EN+1.0ZH)

数据规模大

•高质量数据0.9T(定向申请)

•一期18个行业分类

行业覆盖广

•二期扩展到30个行业分类

•行业预训练数据

数据类型多图1.本次开源行业数据集按行业分布情况（GB）

•行业指令数据（医疗、教育）、行业偏好数据（医疗）

•预训练数据：基于规则+模型的多重质量提升方案

数据质量高

•指令数据：基于指令复杂性+回复质量+多轮相关性的筛选方案