2018年安徽高等职业院校技能大赛大数据技术-安徽职业技术学院.PDF

2018 年安徽省高等职业院校技能大赛 大数据技术与应用赛项竞赛规程 一、赛项名称 赛项名称：大数据技术与应用 赛项组别：高职学生组 二、竞赛目的 本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的 职业需求，围绕大数据处理相关算法应用与软件工具运用。赛项选取典型的大 数据应用业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和数 据分析能力、运用大数据平台及相关工具软件解决具体业务问题的能力，激发 学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为 中国大数据应用产业发展储备及输送新鲜血液。 通过举办本赛项，可以搭建校企合作的平台，提升高职电子信息类及相关 专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业 发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建 设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需 要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。 三、竞赛内容 赛项以大数据技术与应用为核心内容和工作基础，重点考察参赛选手在 Hadoop 平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。 具体包括： 1. 掌握Hadoop 平台环境部署与基本配置，了解基于大数据计算平台的常 见应用； 2.综合利用 numpy pandas matplotlib scikit 模块和 MapReduce 技 术、分布式存储系统 HDFS、分布式计算框架MapReduce/Yarn、数据仓库 第 1 页 Hive Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采 集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈 现。 3.依据项目应用需求和分析结果，完成数据分析报告的编写。 4.竞赛时间 4 小时，竞赛连续进行。 竞赛内容构成如下： 考核环节 考核知识点和技能点 Hadoop 平台安装部署和基本配置。 HDFS 常用操作命令（查询文件类别、上传、删除文件、查询 Hadoop 平台 HDFS 基本统计信息）。 安装部署 Hadoop 平台常见基础组件应用。 Hadoop 集群的性能调优。 规则文件数据和关系型数据库数据抓取以及数据同步（同 Hadoop/Hive 数据同步）。 掌握Hive 数据仓库导入、导出以及同 Hadoop 数据文件的转 数据抓取 换，掌握 Hive 数据管理常用命令。 能够通过Python 编程，使用 streaming 和 MapReduce 机制实 现数据的抓取。 基于 MapReduce 的HDFS 文件系统的文件数据的数据查询、整 理和计算。 数据清洗、整 应用 Python 编程工具，实现给定数据源的采集，提取、清 理、计算和表达 洗、转换、分析、挖掘操作，产生分析结果，实现给定数据 源的预处理。 结合 Hadoop 大数据平台相关技术实现对数据的分析和展现。 综合应用数据抓取、清洗、整理、计算和表达等相关知识及 综合分析 技术，使用 Python 编程工具，实现对提供的数据源分析、展 现，根据展现结果得出结论，并对结论进行分析，形成分析 第 2 页 报告。 竞赛各阶段分值权重和时间分布