第十七届山东省职业院校技能大赛高职组“大数据应用开发”赛项规程.docxVIP

4-

第十七届山东省职业院校技能大赛

高职组“大数据应用开发”赛项规程

一、赛项名称

赛项名称：大数据应用开发

赛项组别：高职组

赛项归属产业：电子与信息大类

二、竞赛目的

“十四五”时期，大数据产业对经济社会高质量发展的赋能作用更加突显，大数据已成为催生新业态、激发新模式、促进新发展的技术引擎。习近平总书记指出“大数据是信息化发展的新阶段”，“加快数字化发展，建设数字中国”成为《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》的重要篇章。

本赛项旨在落实国家“建设数字中国”战略，协同推动大数据相关产业的创新与发展，大力推进大数据技术及相关专业的技术技能型人才培养，全面提升相关专业毕业生的综合能力，展现选手团队合作、工匠精神等职业素养，赋能经济社会高质量发展。竞赛内容结合当前大数据相关产业中的新技术、新要求如数据湖、OLAP数据库应用等，全面检验参赛选手的工程实践能力和创新能力，推进教学过程与生产过程对接、课程内容与职业标准对接、专业设置与产业需求对接，促进职普融通、产教融合、科教融汇，引领专业建设和教学改革。竞赛内容围绕大数据相关产业岗位的实际技能要求进行设计，通过竞赛搭建校企合作的平台，强化竞赛成果转化，促进相关教材、资源、师资、认证、实习就业等方面的全方位建设，满足产教协同育人目标，为国家战略规划提供大数据领域高素质技能型人才。

三、竞赛内容

本赛项涉及的典型工作任务包括大数据平台搭建（容器环境）、离线数据处理、数据挖掘、数据采集与实时计算、数据可视化、综合分析、职业素养，引入行业内较为前沿的数据湖架构作为创新、创意的范围与方向，考查的技术技能如下：

1.大数据平台搭建（容器环境）：Docker容器基础操作、Hadoop完全分布式安装配置、HadoopHA安装配置、SparkonYarn安装配置、FlinkonYarn安装配置、Hive安装配置、Flume安装配置、ZooKeeper安装配置、Kafka安装配置、HBase分布式安装配置、ClickHouse单节点安装配置、Hudi安装配置。

2.离线数据处理：Scala应用开发、Pom文件配置、Maven本地仓库配置使用、基于Spark的数据清洗处理方法、基于Hive的数据清洗处理方法、基于Hudi的数据清洗处理方法、数据仓库基本架构及概念、数据湖基本架构及概念、MySQL基本操作、ClickHouse基本操作、Azkaban基本操作、DolphinScheduler基本操作。

3.数据挖掘：特征工程应用、SparkML机器学习库应用开发、推荐算法的召回和排序、回归模型、聚类模型、决策树模型、随机森林模型应用。

4.数据采集与实时计算：Scala应用开发、Pom文件配置、Maven本地仓库配置使用、基于Flume及Kafka的数据采集方法、基于Flink的实时数据处理方法、HBase基本操作、Redis基本操作、MySQL基本操作。

5.数据可视化：Vue.js框架应用开发、ECharts组件应用开发，会使用ECharts绘制柱状图、折线图、折柱混合图、玫瑰图、气泡图、饼状图、条形图、雷达图、散点图等图表。

6.综合分析：依据整体项目过程，在综合理解业务的基础上，根据题目要求进行综合分析。

7.职业素养：团队分工明确合理、操作规范、文明竞赛。

竞赛内容构成如下：

序号

竞赛任务

成绩比例

考核内容

1

大数据平台搭建

（容器环境）

15%

选手在容器环境下对大数据平台及相关组件

的安装、配置、可用性验证等内容。

2

离线数据处理

25%

选手对Hadoop平台、Spark平台、Hive数据仓库、Hudi数据湖、任务调度工具等的综合应用能力，使用Scala开发语言，完成离线数据抽取、数据清洗、数据指标统计等操作，

并存入MySQL、ClickHouse中。

3

数据挖掘

10%

选手运用常用的机器学习方法对数据进行数

据挖掘分析。

4

数据采集与实时

计算

20%

选手对Flink平台、Flume组件、Kafka组件等的综合应用能力，基于Flume和Kafka进行实时数据采集，使用Scala开发语言，完成实时数据流相关数据指标的分析、计算等

操作，并存入HBase、Redis、MySQL中。

5

数据可视化

15%

选手基于前端框架Vue.js和后端REST风格的数据接口，使用JavaScript语言将数据分

析结果以图表的形式进行呈现、统计

6

综合分析

10%

选手对大数据技术的业务分析、技术分析及

报告撰写能力。

7

职业素养

5%

团队分工明确合理、操作规范、文明