电子信息大类—“大数据技术与应用”赛项竞赛规程（高职学生组）.docxVIP

4-

2019年甘肃省职业院校技能大赛（高职组）

“大数据技术与应用”赛项规程

一、赛项名称

赛项名称：大数据技术与应用

赛项组别：高职组

二、竞赛目的

为适应大数据产业对高素质技术技能型人才的职业需求，赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Hadoop平台环境下，充分利用Hadoop技术生态组件的特点，综合软件开发相关技术，解决实际问题的能力，激发学生对大数据相关知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据产业的发展储备及输送新鲜血液。

通过举办本赛项，可以搭建校企合作的平台，提升大数据技术与应用专业及其他相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。

三、竞赛方式

1、比赛以团队方式进行，不得跨校组队，同一学校的报名参赛队伍不超过2支。

2、每个参赛队由1名领队（可由指导教师兼任）、2名指导教师、3名选手（其中1队长1名）组成，指导教师须为本校专兼职教师，参赛选手和指导教师报名获得确认后不得随意更换。

3、竞赛时间4小时。

四、竞赛内容

赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Hadoop平台环境下，充分利用Hadoop技术生态组件的特点，综合软件开发相关技术，解决实际问题的能力，具体包括：

掌握基于Hadoop离线分析平台，按照项目需求配置大数据组件并按照需求进行合理配置；

掌握基于Web页面的数据采集相关技术，完成指定数据的采集及处理能力；

综合利用MapReduce技术、分布式存储系统HDFS、数据仓库Hive等工具及技术，使用Java、Python等开发语言，完成数据清洗、数据存储、数据转化、数据分析及数据推送等一系列大数据操作；

综合运用HTML、CSS、JavaScript等开发语言，结合Echarts数据可视化组件，对数据进行可视化呈现；

根据数据可视化结果，完成数据分析报告的编写；

竞赛时间4小时，竞赛连续进行。

竞赛内容构成如下：

考核环节

考核知识点和技能点

平台组件配置

Flume基本配置

FlumeAgent配置

数据采集

（Python）

使用工具（Chrome开发者工具）查看网页源码，分析网页结构，明确数据采集对象

数据采集网络请求构建

采集数据解析及关键数据提取

本地目录操作、文件创建、读写

数据清洗

（Java、LinuxShell）

HDFS数据文件读取、解析、清洗过滤，分区

MapReduce程序的编译、打包、发布

执行MapReduce程序，完成数据清洗

数据存储分析

（LinuxShell）

Hive建库、建表

Hive数据加载

HQL编写、数据查询统计

Sqoop数据推送

数据可视化

（HTML、CSS、JavaScript）

网页后台代码编写

基于Echarts的数据可视化渲染编码

综合分析

文档能力、数据分析能力

竞赛各阶段分值权重和时间分布如下：

阶段

竞赛时间

分值权重

大数据组件配置

4小时

权重10%

数据采集

权重15%

数据清洗

权重20%

数据存储分析

权重20%

数据可视化

权重20%

数据分析报告

权重10%

团队分工明确合理、操作规范、文明竞赛

权重5%

五、竞赛流程

根据竞赛任务要求，参赛队伍在4小时竞赛时间内须完成竞赛任务，参赛队伍须按顺序完成各项任务，但每项任务用时可自行掌握。比赛时间2019年3月中旬，具体日期以大赛组委会通知为准。

（一）竞赛时间安排

日期

时间

内容

××月

××日

14:00-18:00

各参赛队报到

15:00-16:00

领队会、赛前说明

16:00-16:30

选手熟悉赛场

××月

××日

8:00-9:00

赛场检录，竞赛选手进入赛位

9:00-13:00

竞赛选手完成竞赛任务

14:00-17:00

对选手提交的结果文件进行评分

（二）竞赛流程

六、竞赛试题

本赛项样题详见《附件一》。

七、竞赛规则

1.比赛时间为4个小时，比赛过程连续进行。

2.参赛队的竞赛工位号采用抽签方式确定。赛题以任务书形式发放，竞赛参考资料在赛前植入参赛选手的计算机，参赛队根据任务书要求完成竞赛任务。

3.组委会统一布置竞赛需要的软硬件环境。选手不得私自携带任何移动存储、辅助工具、移动通信等进入赛场。

4.参赛选手报到当天可预先熟悉比赛场地，但不得进行现场练习。参赛选手按规定时间到达指定地点，凭参赛证、学生证和身份证（三证必须齐全）进入赛场。选手迟到10分钟取消比赛资格。

5.各队领队和指导教师，以及观摩人员在赛场指定的观摩区观