2024年高职师生同赛大数据应用开发赛项竞赛规程.pdfVIP

2024年甘肃省职业院校技能大赛

高职组电子与信息类“大数据应用开发”赛项规程

一、赛项名称

赛项名称：大数据应用开发

赛项组别：高职组（师生同赛）

赛项归属产业：电子与信息大类

二、竞赛目的

为适应大数据产业对高素质技术技能型人才的职业需求，赛项以大数据应用开发为

核心内容和工作基础，重点考查参赛选手基于Hadoop、Spark、Flink平台环境下，充

分利用SparkCore、SparkSQL、Flume、Kafka、Flink、Hive、HBase、Redis、Maxwell、

ClickHouse、MySQL等相关技术的特点，基于Scala、Java、JavaScript等开发语言，

综合软件开发相关技术，解决实际问题的能力，激发学生对大数据相关知识和技术的学

习兴趣，提升学生职业素养和职业技能，努力为中国大数据产业的发展储备及输送新鲜

血液。

通过举办本赛项，可以搭建校企合作的平台，提升大数据专业及其他相关专业毕业

生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资

源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方

案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，

引领职业院校专业建设与课程改革。

三、竞赛内容

赛项以大数据应用开发为核心内容和工作基础，重点考查参赛选手基于Hadoop、

Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、Flume、Kafka、Flink、

Hive、HBase、Redis、Maxwell、ClickHouse、MySQL等技术的特点，综合软件开发相关

技术，解决实际问题的能力，具体包括：

1.掌握Hadoop平台、基于Spark的离线分析平台、基于Flink的实时分析平台，

-1-

在容器环境下，按照项目需求安装相关技术组件并按照需求进行合理配置；

2.掌握基于Spark的离线数据采集方式方法，完成指定数据的抽取并写入Hive分

区表中。掌握基于Flume、Maxwell的实时数据采集，将数据写入Kafka中；

3.综合利用Flink、Kafka、Hive、Redis、HBase、ClickHouse等技术，使用Java

开发语言，完成某电商系统的实时数据处理，包括使用Flink处理Kafka中的数据、实

时数据仓库、将数据备份至HBase中、建立Hive外表、将数据处理结果存入Redis、

ClickHouse中等操作；

4.综合利用Spark、Hive、MySQL、HBase、ClickHouse等相关技术，使用Scala开

发语言，完成某电商系统的离线数据处理，包括Hive数据仓库、使用Spark处理离线

数据、数据合并、去重、排序、数据类型转换、将数据处理结果存入MySQL、HBase、

ClickHouse中等操作；

5.综合运用HTML、CSS、JavaScript等开发语言，Vue.js前端技术，结合ECharts

数据可视化组件，利用后端数据接口完成数据可视化；

6.根据竞赛过程，完成综合分析报告的编写；

7.竞赛时间6小时，竞赛连续进行。

竞赛内容构成如下：

考核环节考核知识点和技能点

Docker基本操作

Hadoop完全分布式安装配置

Spark安装配置

大数据平台环境搭建

Flink安装配置

Hive安装配置

Kafka安装配置

-2-

Flume安装配置

ClickHouse安装配置

HBase安装配置

使用Spark抽取MySQL指定数据表中的增量数据到ods层的指