大数据分析与挖掘技能大赛试题.pdfVIP

大数据分析与挖掘技能大赛试题

大数据分析与挖掘技能大赛--职工组(样卷)任务一：平台搭建

1.连接虚拟机

#使用Xshell分别连接对应ip的三台主机：

节点名称：lky01;lky02;lky03

2.部署jdk

(1).解压

#首先需要将组件上传到soft目录下，然后进入soft目录下解压

jdk(2).配置环境变量

#任务描述

1.在相应配置文件中追加以下内容

2.设置当前环境变量立即生效

(3).将jdk与环境变量同步到其他两台服务器

#注意：同步文件之后，在master2，slave节点都需要更新配置

文件(4).测试安装

#任务描述

1.查看版本信息

2.查看当前进程状态

2.启动Zookeeper

#任务描述

1.在三台机器中都执行启动命令

2.查看Zookeeper启动信息

3.启动HDFS

#描述信息

1.启动hdfs，在master节点上执行启动命令

2.查看进程的启动信息

4.启动Yarn

#任务描述

1.启动Yarn，在lky01节点上执行启动命令

2.启动Yarn，在lky02节点上执行启动命令

任务二、数据清洗与分析

#任务说明

1.编写Python程序，读取并解析/raw/receive目录下的文件数

据，清洗职位名称为空、职位描述为空的数据，将清洗后的数据保存

在clean目录下，清洗后的职位数据各字段用|分割。

2.完成以下数据的分析统计：

（1）统计各岗位数据总量

（2）以天为单位统计岗位名称为大数据的数据总量

（3）统计岗位名称为大数据的关键词的数量

任务三：可视化

1.配置数据源

2.创建数据集

3.图表设计

4.大屏看板设计