IndustryCorpus2-多语种多行业预训练数据与指令数据集构建.docx

IndustryCorpus2-多行业多语种大模型预

训练与指令数据集构建

史晓峰

北京智源人工智能研究院算法研究专家

史晓峰

北京智源人工智能研究院，算法研究专家

多年算法开发和研究经验，曾在头部互联网公司负责亿级产品的搜索算法的研究和应用，主要方向为搜索和多模态。近年来，专注于大模型领域，主要方向为LLM和LMM的模型行业应用和落地，涉及数据集构建，模型训练，领域适配等相关方向的研究和探索。近期主导构建了全球规模最大的多语种多行业文本预训练数据集IndustryCorpus系列和多行业指令数据集IndustryInstruction。在医疗、教育、金融，汽车等多