《2019年山东省职业院校技能大赛高职组“大数据技术与应用”赛项规程》.pdfVIP

一、赛项名称 赛项名称：大数据技术与应用 赛项组别：高职组 赛项归属：电子信息大类 二、竞赛目的 为贯彻落实国务院发布的《促进大数据发展行动纲要》和工业和信息化部发 布的 《大数据产业发展规划 （2016-2020 年）》。加快实施国家大数据战略，推 动大数据产业健康快速发展，针对高职“大数据技术与应用”专业建设和发展的需 求，通过引入大数据各个环节的实际应用场景，全面考察高职学生大数据技术基 础、软件开发相关技术、Hadoop及其生态组件部署与管理、数据采集、数据清 洗、数据分析和数据可视化等前沿的知识、技术技能以及职业素养和团队协作能 力。 赛项围绕大数据产业各个岗位的实际需求和要求进行设计，通过大赛搭建校 企合作的平台，深化产教融合，推进产教融合人才培养模式，提升大数据技术与 应用专业及其他相关专业毕业生能力，推动院校和企业联合培养大数据人才，加 强学校教育与产业发展的有效衔接，促进职业院校信息类相关专业共同发展，为 国家战略规划提供大数据领域的高素质技能型人才。 三、竞赛内容 赛项以大数据技术与应用为核心内容，重点考查参赛选手基于Hadoop平台 环境下，利用Hadoop技术生态组件，综合软件开发相关技术，解决实际问题的 能力，具体包括： 1. 掌握按照项目需求配置管理Hadoop大数据平台及相关生态组件； 2. 掌握企业常用采集工具和网络爬虫的相关技术，完成指定数据的采集及处理 能力； 3. 综合利用MapReduce、Spark等技术、分布式存储系统、数据仓库Hive等工 具，使用Java、Python、Scala等开发语言，完成数据清洗、存储、转化、 分析及数据推送等一系列大数据操作； 4. 综合运用HTML、CSS、JavaScript、Python 等开发语言，对数据进行可视化 - 1- 呈现； 5. 根据数据可视化结果，完成数据分析报告的编写； 6. 竞赛时长4小时，竞赛连续进行。 竞赛内容构成如下： 考核环节 考核知识点和技能点 描述 Hadoop平台安装部署和基本配置 考察Hadoop平台及组 Hadoop集群节点的动态增加与删除 件的部署能力，掌握常 Hadoop平台及组 用的基本配置和命令， 件的部署管理 Hadoop平台相关组件部署与管理 能够部署和管理 Hadoop平台的高可用 Hadoop高可用集群。 使用开发者工具查看网页源码，分析网 页结构，明确数据采集对象 构建数据采集请求，抓取网络数据 考察学生多维度数据 利用网络爬虫相关组件实现网络数据爬 采集能力，包括对关系 数据采集 取 型数据库和网络爬虫 规则文件数据和关系型数据库数据抓取 技术的应用。 以及数据同步 数据采集结果导出及数据库推送 基于Hadoop平台架构组件和多维度的数 据采集，实现数据一致性检查、无效值 和缺省值的处理 多表数据合并和离群值处理 考察对分布式计算、分 通过常见的数据分析算法，对数据进行 布式存储系统、数据仓 标准化、离散化和二元化分析