“大数据技术与应用”赛项规程.docx

〃大数据技术与应用〃赛项规程 —、赛项名称 赛项名称：大数据技术与应用 英语翻译：Big Data Technology and Application 赛项组别：高职组 赛项归属产业：电子信息产业 二、竞赛目的 （一） 促进发展专业教学内容和课程体系改革 国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国 大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》中明确指岀，要加 强专业人才培养，创新人才培养模式，建立健全多层次、多类型的大数据人才培养体 系。2016年9月，教育部批准设立了高职院校“大数据技术与应用专业。由于缺 乏与用人单位岗位核心技术技能相匹配的专业课程体系及师资力量，严重影响了高职 院校大数据人才培养质量。 大数据技术与应用赛项包括大数据平台运行维护、数据采集与预处理、数据清洗 及存储、数据分析及可视化等工作内容。考査内容对接国家教学标准提出的大数据相 关专业综合核心技术技能和职业素养，能够适应我国大数据产业对高素质复合型人才 的产业需求，覆盖大数据行业技术岗位体系，满足大数据企业技术研发类、基础平台 运营类岗位对大数据平台运维能力、大数据应用开发能力及职业素养等方面的要求； 促进教师专业能力及教学能力的提升，引领大数据技术与应用专业建设及课程改革。 （二） 开拓产教融合新模式、推进协同育人产学研合作 大数据技术与应用赛项选取大数据行业企业典型项目需求，围绕项目开发过程设 计竞赛内容，竞赛任务就是项目工作任务。通过本赛项推动了课程内容与职业标准对 接，教学过程与生产过程对接，专业与产业对接，实现教育链、人才链与产业链、创 新链有机衔接，促进产教融合、校企合作、产业发展。 （三） 为企业提供大数据人才支撑，提高学生就业质量 大数据技术与应用赛项选取真实的大数据业务分析应用场景，重点考査选手的实 际动手能力、规范操作水平、创新创意水平等综合职业能力。参赛选手通过对实际业 务数据的分析，运用大数据领域技术手段，揭示业务数据隐含的业务规律，实现对业 务运行发展状态的推断，以数据分析结果为支撑做出科学合理的决策建议，影显了参 赛选手的综合职业能力及教师的教学能力，充分展示职教改革成果及师生良好精神面 貌。 三、竞赛内容 赛项以大数据技术与应用为核心内容，重点考查参赛选手基于Hadoop. Spark 平0环境下，利用Hadoop. Spark技术生态组件，综合软件开发相关技术，解决实际 问题的能力，具体包括： 1） 掌握按照项目需求配置管理Hadoop、Spark大数据平台及相关生态组件； 2） 掌握企业常用数据清洗匸具相关技术，完成指定数据的清洗及分析能力： 3） 综合利用HDFS、Spark、Flask等技术，使用Java、Python等开发语言，完 成数据清洗、存储、转化、分析及数据推送等一系列大数据操作； 4） 综合运用HTML、CSS、JavaScript. Python等开发语言，对数据进行可视化 呈现； 5） 根据数据可视化结果，完成数据分析报告的编写。 竞赛内容构成如下： 考核环节 考核知识点和技能点 描述 Tadoop、Spark 平台 的配置和部署 集群免密配置和基础软件安装配置 考察Hadoop + Spark集群 的部署能力，掌握常用的基 本配置和基础软件安装?能 核部署和管理高可用集群。 掌握％b平台的搭建。 Hadoop集群挤建 Spark集群搭建 可视化平台的搭建 数据获取与分布式 文件系统操作 査找指定源数据文件 掌握Linux基础命令。考察 Hadoop文件系统的常用命 令，掌握分布式文件系统命 令行操作与API操作。 HDFS创建目录及上传源数据 使用Hadoop API操作源数据 Spark数据清洗与分 析 基于Spark Java API的本地项目搭建 考察对分布式计算和分布 式存储架构卜的数据读写、 导入本地Java项目的依赖作 数据清洗、数据转换、数据 分析等综合应用能力，使用 Java开发语言，完成Spark 框架下的HDFS读写、内存 表构建、SQL函数关联合并 掌握在Spark框架下的Java API编程 熟练使用SparkSQL读写HDFS  使用检索和淸洗函数处理Spark内存表数据。 过滤等一系列数据操作 根据实验任务书编写分析模块代码 进行编译、打包、提交集群，执行Spark程序， 监控任务执行情况。输出目标数据文件。 Web数据可视化 构建Web平台项目，使用HDFS API读取Spark 任务提供的目标数据集。 通过常见的数据可视化方 法，将数据分析结果以图表 的形式进行呈现，使用 Java、Python 及 HTML 等编 程语言，实现数据源分析结 果展现 编写前端代码.对数据分析结果进行呈现。 综合分析 通过项目代码和架构，根