2023年甘肃省职业院校技能大赛高职组“大数据技术与应用”赛项样卷-评分标准.docxVIP

评分标准

任务

考查点

描述

评分标准

分值（分）

大数据平台环境搭建

（50分）

大数据相关平台组件安装配置

在指定的宿主机上，基于Docker环境完成Hadoop完全分布式、Spark、Flink、Hive、Kafka、Flume、ClickHouse、HBase等的安装配置。

主要评分点包括Hadoop完全分布式安装配置、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume安装配置、ClickHouse安装配置、HBase安装配置。

50

数据采集（10分）

离线数据采集、实时数据采集

按照要求基于Scala语言完成特定函数的编写，使用Spark完成离线数据采集；按照要求使用Linux命令，利用Flume、Maxwell、Kafka等工具完成实时数据采集。

主要评分点包括Spark数据读取、数据存储、Flume数据采集、Maxwell数据采集、Kafka等操作。

10

实时数据处理（10分）

实时数据处理计算代码编写

使用Scala语言基于Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中，并在HBase中进行备份同时建立Hive外表，基于Flink完成相关的数据指标计算并将计算结果存入Redis、ClickHouse中。

主要评分点包括Flink数据处理、数据指标计算、HBase、Hive、ClickHouse、Redis等相关操作。

10

离线数据处理（10分）

离线数据处理计算代码编写

使用Scala语言基于Spark完成离线数据清洗、处理、计算，包括数据的合并、去重、排序、数据类型转换等并将计算结果存入MySQL、HBase、ClickHouse中。

主要评分点包括基于Spark的数据清洗、数据指标计算、HBase、Hive、ClickHouse、MySQL等相关操作。

10

数据可视化

（10分）

数据可视化代码编写

编写前端Web界面，调用后台数据接口，使用Vue.js、ECharts完成数据可视化。

主要评分点包括可视化前端代码开发、前端展示。

10

综合分析报告

（10分）

文档编写

根据项目要求，完成综合分析报告编写。

主要评分点包括能够按照赛项要求进行综合分析。

10

职业素养

（5分）

职业素养

团队分工明确合理、操作规范、文明竞赛。

主要评分点包括：竞赛团队分工明确合理、操作规范、文明竞赛。

5