山西省职业院校技能大赛高职组大数据技术与应用赛项规程(2).docVIP

. . Word格式 山西省第十一届高等职业学校“四合天地杯”大数据技术与应用技能大赛赛项规程 一、赛项名称 赛项名称：大数据技术与应用 赛项组别：高职学生组 二、竞赛目的 本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的职业需求，围绕大数据处理相关算法应用与软件工具运用。赛项选取典型的大数据应用业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和数据分析能力、了解Hadoop基本配置及相关工具软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据应用产业发展储备及输送新鲜血液。 通过举办本赛项，可以搭建校企合作的平台，提升高职电子信息类及相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。 三、竞赛内容 赛项以大数据技术与应用为核心内容和基础，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。具体包括： 1.Hadoop平台环境部署与基本配置。 2.综合利用numpy、pandas、matplotlib、MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、分布式数据库Hbase、Python等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。 3.依据竞赛应用需求和分析结果，完成数据分析报告的编写。 竞赛内容构成如下： 考核环节 考核知识点和技能点 Hadoop平台 安装部署 Hadoop平台安装部署和基本配置。 HDFS常用操作命令（查询文件类别、上传、删除文件、查询HDFS基本统计信息）。 Hadoop平台常见基础组件应用。 数据抓取 常见数据类型的数据抓取，实现数据抓取、解析和初步整理，常见的网络数据、数据文件、关系数据库等数据源的数据抓取 掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换，掌握Hive数据管理常用命令。 能够通过Python编程，使用分布式计算机制实现数据的抓取。 数据清洗、整理、计算和表达 基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。 应用Python编程工具，实现给定数据源的采集，提取、清洗、转换、分析、挖掘等操作。实现给定数据源的预处理。 利用Python编程，实现数据的整理、计算和表达等知识技能，并能够对相关知识技能扩展应用。 综合分析 综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python编程工具，实现对提供的数据源分析、展现，根据展现结果得出结论，并对结论进行分析，形成分析报告。 竞赛各阶段分值权重如下： 序号 分值权重 Hadoop平台安装部署 权重20% 数据抓取 权重20% 数据清洗、整理、计算和表达 权重25% 综合分析 权重30% 团队分工明确合理、操作规范、文明竞赛 权重5% 四、竞赛方式 大数据技术与应用赛项为团体赛。每支参赛队由3名参赛选手组成，须为同校在籍学生，不允许跨校组队，其中队长1名。 竞赛时间为4个小时，竞赛连续进行。 五、竞赛流程 日期 时间 事项 比赛前一天 8:00—15:00 各参赛队报到 15:00—16:00 赛前裁判会议 16:00—16:30 各参赛校领队会，抽签决定顺序号 16:30—17:00 熟悉赛场 比赛当天 7:50—8:20 检录入场、抽签决定工位号 8:20—8:30 试题发放 8:30—12:30 正式比赛 12:30—18:00 成绩评定 18:00 公布结果 六、竞赛规则 1. 参赛选手须为3名在籍学生。 2. 严禁参赛选手、赛项裁判、工作人员私自携带通讯、摄录设备进入比赛场地。 3. 竞赛工位通过抽签决定。 4. 竞赛所需的硬件设备、系统软件和辅助工具由组委会统一准备，参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。 5. 参赛队自行决定选手分工、工作程序和时间安排。 6.所有参赛选手都必须携带参赛证件进行检录。参赛证件包含身份证、学生证、参赛证。 7. 参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开相关工作。参赛选手迟到超过30分钟不得入场。 8. 比赛期间，不安排指导教师进行现场指导。 9. 竞赛过程中，选手须严格遵守操作规程，确保人身及设备安全，并接受裁判员的监督和警示。如遇到设备或软件等故障，参赛