2024年河南省行业职业技能竞赛新兴产业职业技能竞赛--信息系统适配（AI方向）项目技术工作文件.pdf

2024年河南省行业职业技能竞赛

新兴产业职业技能竞赛

信息系统适配验证师（人工智能方向）项目

技

术

工

作

文

件

2024年11月

一、技术描述

（一）项目概要

人工智能技术已经渗透到社会发展的各个领域，成为推

动经济增长、优化产业升级的重要力量。特别是大语言模型，

作为自然语言处理（NLP）领域的一项突破性技术，它不仅

在日常沟通、信息检索、内容创作等方面展现出巨大的潜力，

在专业领域的应用也日益显现出其独特的价值。

大语言模型，通过海量数据的训练，能够理解和生成自

然语言，实现对复杂语言现象的建模。这些模型在通用领域

的表现已经非常出色，但在特定领域，如医疗、法律、金融、

教育等，由于专业术语的复杂性、行业知识的深度和广度，

通用模型往往难以达到满意的性能表现。

为了更好地服务特定行业，提升大语言模型在专业领域

的应用效果，定制化、专业化的领域模型训练显得尤为重要。

这些模型能够理解特定领域的专业知识，提供更加精准的信

息检索、问题解答、文本生成等服务，从而有效提升工作效

率，降低专业门槛，推动行业的智能化发展。

基于以上事实，人工智能挑战赛重点考察参赛选手能够

基于大模型开展应用开发的能力，包括基于商开源大模型的

部署、微调，定制基于业务场景的大模型应用等技术能力，

要求选手具备使用人工智能开发平台、深度学习训练框架和

推理框架并适当结合主流大模型能力开展工程应用的能力。

通过举办本赛项，可以提升人工智能相关人才的专业素养，

1

能够在人工智能迅速发展，创新应用场景广泛落地的趋势下，

具备宏观视角并能迁移所学知识，在更广阔的人工智能领域

内有所作为，从而为人工智能的发展储备和输送新鲜血液。

（二）基本知识及能力要求

针对大语言模型在商业分析、教育与学习辅助以及企业

知识管理等场景应用需求，要求参赛选手完成大语言模型

的调用或本地部署以及完成智能问答类应用的接口实现，包

括：

1.本地私有化部署开源大语言模型以及分词向量模型。

2.设计脚本能够基于大语言模型和分词向量模型对文档

中的内容进行通用领域数据集提取，并转换为标注的Alpaca

格式。

3.设计脚本能够使用开源大语言模型对通用领域数据集

进行训练，并正确保存模型。

4.设计脚本能够进行API测试，可实现针对通用领域的

知识问答，并在测试集上进行验证。

5.设计脚本能够进行API测试，可实现在给定的文档（包

括但不限于商业分析、教育与学习辅助以及企业知识管理等

场景）上进行检索、理解，协助使用者高效阅读和查询。

最终，参赛选手将相关脚本的执行过程及结果在算力设

备上进行测试展示。

2

二、试题与评判标准

（一）试题

基于大语言模型及算力设备进行开源大语言模型的部

署、训练以及应用。

本次竞赛分为：理论实操现场测试+演示答辩

选手成绩＝现场测试成绩×70%＋演示答辩成绩×30%

（二）比赛时间及试题具体内容

1.比赛时间安排：本项目比赛总时间3小时10分钟，其

中理论实操现场测试时长3小时，展示及答辩时长10分钟，

理论考试内容理论实操环节中；

2.具体试题内容：

（1）规定动作01：选手需要选择一个开源的大语言模

型和分词向量模型，将所选模型部署到算力设备上，确保不

依赖任何外部云服务或网络连接；选手可以提前准备好模型

文件以及模型环境部署的相关包，通过便携式存储复制到现

场算力设备中，部署的环境包含训练环境和推理环境。

（2）规定动作02：编写脚本，使用大语言模型和分词

向量模型