GZ-2019032大数据技术与应用赛项规程-全国职业院校技能大赛.pdfVIP

2019 年全国职业院校技能大赛 赛项规程 一、赛项名称 赛项编号： GZ-2019032 赛项名称：大数据技术与应用 英文名称： Big Data Technology And Application 赛项组别：高职组 赛项归属：电子信息大类 二、竞赛目的 为贯彻落实国务院发布的 《促进大数据发展行动纲要》 和工业和 信息化部发布的《大数据产业发展规划（ 2016-2020 年）》。加快实 施国家大数据战略，推动大数据产业健康快速发展，针对高职 大数“ 据技术与应用 ”专业建设和发展的需求，通过引入大数据各个环节的 实际应用场景， 全面考察高职学生大数据技术基础、 软件开发相关技 术、 Hadoop及其生态组件部署与管理、数据采集、数据清洗、数据 分析和数据可视化等前沿的知识、 技术技能以及职业素养和团队协作 能力。 赛项围绕大数据产业各个岗位的实际需求和要求进行设计， 通过 大赛搭建校企合作的平台， 深化产教融合， 推进产教融合人才培养模 式，提升大数据技术与应用专业及其他相关专业毕业生能力， 同时大 赛促进相关教材、资源、师资、认证、实习就业等全面建设，推动院 校和企业联合培养大数据人才，加强学校教育与产业发展的有效衔 接，促进职业院校信息类相关专业共同发展， 为国家战略规划提供大 - 1 - 数据领域的高素质技能型人才。 三、竞赛内容 赛项以大数据技术与应用为核心内容，重点考查参赛选手基于 Hadoop平台环境下，利用 Hadoop技术生态组件，综合软件开发相关 技术，解决实际问题的能力，具体包括： 1. 掌握按照项目需求配置管理 Hadoop大数据平台及相关生态组件； 2. 掌握企业常用采集工具和网络爬虫的相关技术，完成指定数据的 采集及处理能力； 3. 综合利用 MapReduce、Spark 、Storm 等技术、分布式存储系统、 数据仓库 Hive 等工具，使用 Java 、Python 等开发语言，完成数 据清洗、存储、转化、分析及数据推送等一系列大数据操作； 4. 综合运用 HTML、CSS、JavaScript 、Python 等开发语言，对数据 进行可视化呈现； 5. 根据数据可视化结果，完成数据分析报告的编写； 6. 竞赛时长 4 小时，竞赛连续进行。 竞赛内容构成如下： 考核环节 考核知识点和技能点 描述 Hadoop平台安装部署和基本配置 考察 Hadoop平台及组 Hadoop平台及组 Hadoop集群节点的动态增加与删除 件的部署能力， 掌握常 用的基本配置和命令， 件的部署管理 Hadoop平台相关组件部署与管理 能够部署和管理 Hadoop平台的高可用 Hadoop高可用集群。 使用开发者工具查看网页源码，分析网 页结构，明确数据采集对象