江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.pdfVIP

2018 年江苏省高等职业院校技能大赛 大数据技术与应用赛项竞赛规程 一、赛项名称 大数据技术与应用 二、竞赛目的 本赛项的设置， 是为适应大数据开发应用产业对高素质技术技能型人才的职 业需求，赛项选取典型的大数据应用业务分析应用场景， 重点检验参赛选手掌握 大数据业务分析方法和数据分析能力、 运用大数据平台及相关工具软件解决具体 业务问题的能力， 激发学生对大数据知识和技术的学习兴趣， 提升学生职业素养 和职业技能，展示职教改革成果及参赛师生良好精神风貌。 通过举办本赛项， 可以搭建校企合作的平台， 提升高职电子信息类及相关专 业毕业生能力素质， 满足企业用人需求， 促进校企合作协同育人， 对接产业发展， 实现行业资源、 企业资源与教学资源的有机融合， 使高职院校在专业建设、 课程 建设、人才培养方案和人才培养模式等方面， 跟踪社会发展的最新需要， 缩小人 才培养与行业需求差距，引领职业院校专业建设与课程改革。 三、竞赛内容 赛项以大数据技术与应用为核心内容和工作基础，重点考察参赛选手在 Hadoop 平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。 具体包括： 1. 掌握 Hadoop平台环境部署与基本配置， 了解基于大数据计算平台的常见 应用； 2. 综合利用 numpy、pandas、matplotlib 、scikit 模块和 MapReduce技术、 分布式存储系统 HDFS、分布式计算框架 MapReduce/Yarn、数据仓库 Hive 、Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、 转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。 3. 依据项目应用需求和分析结果，完成数据分析报告的编写。 4. 竞赛时间 4 小时，竞赛连续进行。 竞赛内容构成如下： 考核环节 考核知识点和技能点 Hadoop平台安装部署和基本配置。 Hadoop平台 HDFS常用操作命令（查询文件类别、上传、删除文件、查询 安装部署 HDFS基本统计信息）。 Hadoop集群的性能调优。 规则文件数据和关系型数据库数据抓取以及数据同步（同 Hadoop/Hive 数据同步）。 掌握 Hive 数据仓库导入、导出以及同 Hadoop数据文件的转换， 数据抓取 实现 Hive 数据管理常用命令。 能够通过 Python 编程，使用 streaming 和 MapReduce机制实 现数据的抓取。 基于 MapReduce的 HDFS文件系统的文件数据的数据查询、整 理和计算。 数据清洗、整理、 结合 Hadoop大数据平台相关技术实现对数据的分析和展现。 计算和表达 应用 Python 编程工具， 实现给定数据源的采集， 提取、清洗、 转换、分析、挖掘操作， 产生分析结果， 并且实现可视化呈现。 综合应用数据抓取、 清洗、 整理、计算和表达等相关知识及技 综合分析 术，使用 Python 编程工具， 实现对提供的数据源分析、 展现， 根据展现结果得出结论，并对结论进行分析，形成分析报告。 竞赛各阶段分值权重和时间分布如下：