第十五届山东省职业院校技能大赛高职组大数据技术与应用.pdf

第十五届山东省职业院校技能大赛

高职组

“大数据技术与应用”

赛项竞赛试题

一、竞赛时间、内容及总成绩

（一）竞赛时间

竞赛时间共为6小时，参赛队自行安排任务进度，休息、饮水、如厕等不设专门用时，统

一含在竞赛时间内。

（二）竞赛内容概述

序号任务名称具体内容

按照任务书要求，需要基于Docker环境完成HadOOP

SParkFIinkHive

完全分布式、安装配置、安装配置、

任务一大数据平台环境搭建安装配置、Kafka安装配置、F1ume安装配置、

C1ickHouseHBase

安装配置、安装配置等中的任意三

个组件的安装配置

按照任务书要求基于SCa1a语言基于SPark完成离线

数据采集，将数据存入HiVe的OdS层中；按照要求使

任务二数据采集

1inUXF1umeMaxwe11Kafka

用命令，利用等工具

完成实时数据采集

按照任务书要求使用SCaIa语言基于F1ink完成

Kafka中的数据消费，将数据分发至据消a的dwd层

任务三实时数据处理中，并在HBase中进行备份同时建立Hive外表，基于

F1ink完成相关的数据指标计算并将计算结果存入

RedisC1iCkHOUSe

、中

按照任务书要求使用SCa1a语言基于SPark完成离线

数据清洗、处理、计算，包括数据的合并、去重、排序、

任务四离线数据处理

MySQ1

数据类型转换等并将计算结果存入、

HBase›C1ickHouse中

按照任务书要求编写前端代码，调用后台数据接口，使

任务五数据可视化

用、EChartS完成数据可视化

任务六综合分析报告根据要求