《2022年河北省职业院校技能大赛（高职组）“大数据技术与应用”赛项竞赛规程》.pdfVIP

一、赛项名称 赛项名称：大数据技术与应用 赛项组别：高职组 二、竞赛目的 为适应大数据产业对高素质技术技能型人才的职业需求，赛项以 大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于 Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、Flume、 Kafka、Flink、Hive等相关技术的特点，基于Scala、JavaScript 等开发语言，综合软件开发相关技术，解决实际问题的能力，激发学 生对大数据相关知识和技术的学习兴趣，提升学生职业素养和职业技 能，努力为中国大数据产业的发展储备及输送新鲜血液。 通过举办本赛项，可以搭建校企合作的平台，提升大数据技术与 应用专业及其他相关专业毕业生能力素质，满足企业用人需求，促进 校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学 资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案 和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与 行业需求差距，引领职业院校专业建设与课程改革。 三、竞赛方式 1、比赛以团队方式进行，不得跨校组队，同一学校的报名参赛 队伍不超过2支。 2、每个参赛队由1名领队 （可由指导教师兼任）、2名指导教 师、3名选手 （其中队长1名）组成，指导教师须为本校专兼职教师， 参赛选手和指导教师报名获得确认后不得随意更换。 3、竞赛时间6小时。 四、竞赛时间和地点 时间：2022年4 月14 日 - 1- 地点：河北软件职业技术学院 （保定市莲池区东风东路999号） 五、竞赛内容 赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛 选手基于Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、 Flume、Kafka、Flink、Hive等技术的特点，综合软件开发相关技术， 解决实际问题的能力，具体包括： 1.掌握基于Spark 的离线分析平台、基于Flink 的实时分析平台， 按照项目需求安装相关技术组件并按照需求进行合理配置； 2.掌握基于Spark 的离线数据抽取相关技术，完成指定数据的抽取 并写入Hive分区表中； 3.综合利用Spark Core、Spark SQL等技术，使用Scala开发语言， 完成某电商系统数据的离线统计服务，包括销量前5商品统计、 某月的总销售额统计、每个月的销售额统计、每个用户在线总时 长统计，并将统计结果存入MySQL数据库中； 4.综合利用Flume、Flink相关技术，使用Scala开发语言，完成将 某电商系统的用户操作日志抽取到Kafka 中，消费Kafka 中的数 据并计算商城在线人数,并统计该电商系统的UV 与PV； 5.综合运用HTML、CSS、JavaScript等开发语言，Vue.js前端技术， 结合Echarts数据可视化组件，对MySQL 中的数据进行可视化呈 现； 6.根据数据可视化结果，完成数据分析报告的编写； 7.竞赛时间6小时，竞赛连续进行。 竞赛内容构成如下： -2 - 考核环节 考核知识点和技能点 Hadoop完全分布式安装配置 Spark安装配置 Flink安装配置 大数据平台环境搭建 （Linux Shell） Hive安装配置 Kafka安装配置 Flume安装配置 使用Spark抽取MySQL指定数据表中的新增的商品数据到 ODS层的指定的分区表中 离线数据抽取 使用Spark抽取MySQL指定数据表中的新增的用户数据到 （Scala） ODS层的指定的分区表中 使用Spark抽取MySQL指定数据表中的新增的订单数据到