2021年全省职业院校学生技能大赛高职组“大数据技术与应用”赛项竞赛规程.pdfVIP

2021年甘肃省高职院校技能大赛（高职组）

“大数据技术与应用”赛项竞赛规程

一、赛项名称

赛项名称：大数据技术与应用

赛项组别：高职组

竞赛形式：团体赛

赛项专业大类：电子信息

二、竞赛目的

为适应大数据产业对高素质技术技能型人才的职业需求，赛项以

大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于

Hadoop平台环境下，充分利用Hadoop技术生态组件的特点，综合软

件开发相关技术，解决实际问题的能力，激发学生对大数据相关知识

和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数

据产业的发展储备及输送新鲜血液。

通过举办本赛项，可以搭建校企合作的平台，提升大数据技术与

应用专业及其他相关专业毕业生能力素质，满足企业用人需求，促进

校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学

资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案

和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与

行业需求差距，引领职业院校专业建设与课程改革。

三、竞赛内容

赛项以大数据技术与应用为核心内容，重点考查参赛选手基于

-1-

Hadoop平台环境下，利用Hadoop技术生态组件，综合软件开发相关

技术，解决实际问题的能力，具体包括：

1.掌握按照项目需求配置管理Hadoop大数据平台及相关生态组

件；

2.掌握网络爬虫的相关技术，完成指定数据的采集及处理能力；

3.综合利用Spark技术、数据仓库Hive工具完成数据清洗、分

析及数据推送等一系列大数据操作；

4.综合运用HTML、Python等开发语言，对数据进行可视化呈现；

5.根据数据可视化结果，完成数据分析报告的编写；

6.根据竞赛任务要求，参赛队伍在4小时竞赛时间内须按顺序

完成竞赛任务，但每项任务用时可自行掌握。

表1：竞赛内容构成

考核环节考核知识点和技能点描述

Hadoop平台安装部署和基本配置考察Hadoop平台及组

Hadoop平台及组Hadoop集群节点的动态增加与删除件的部署能力，掌握常

用的基本配置和命令，

件的部署管理Hadoop平台相关组件部署与管理

能够部署和管理

Hadoop平台的高可用Hadoop高可用集群。

使用开发者工具查看网页源码，分析网

页结构，明确数据采集对象

构建数据采集请求，抓取网络数据

考察学生多维度数据

利用网络爬虫相关组件实现网络数据爬采集能力，包括对关系

数据采集取型数据库、非关系型数

规则文件数据和关系型数据库数据抓取据库和网络爬虫技术

以及数据同步的应用。

非关系型数据库数据抓取以及数据同步

数据采集结果导出及数据库推送

基于Hadoop平台架构组件和多维度的数考察对分布式计算、分

数据清洗与分析据采集，实现数据一致性检查、无效值布式存储系统、数据仓

和缺省值的处理