IndustryCorpus2.0-多语种多行业预训练数据与指令数据集构建.pdf

IndustryCorpus2-多行业多语种大模型预

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

训练与指令数据集构建

史晓峰

北京智源人工智能研究院算法研究专家

史晓峰

北京智源人工智能研究院，算法研究专家

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

多年算法开发和研究经验，曾在头部互联网公司负责亿级产品的搜索算法的研究和应用，主要

方向为搜索和多模态。近年来，专注于大模型领域，主要方向为LLM和LMM的模型行业应用

和落地，涉及数据集构建，模型训练，领域适配等相关方向的研究和探索。近期主导构建了全

球规模最大的多语种多行业文本预训练数据集IndustryCorpus系列和多行业指令数据集

IndustryInstruction。在医疗、教育、金融，汽车等多个领域进行了模型训练和相应开源工作，

相关模型和方案已经投稿AAAI，相关数据和模型在推动行业模型应用和落地方面取得了显著

成果，不完全统计各数据集在huggingface平台已累计70k+下载量。

1.IndustryCorpus2预训练数据透视与构建方案

目2.IndustryInstruction指令数据特点与构建方案

C

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

O3.行业大模型训练与效果分析

N

T

E

4.《AI大模型行业数据集全景扫描》解读

录N

T

S5.SummaryandQA

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

IndustryCorpus2数据透视与构建方案

为什么需要行业数据

在当前大模型时代，大模型已经进入第二阶段（产业落地），行业模型在推动智能化转型和创新发展中发挥着至关

重要的作用，高质量的行业数据是提升大模型性能和实现行业应用落地的关键。

现状愿景