2024年高职师生同赛大数据应用开发赛项样题2.pdfVIP

背景描述

大数据时代背景下，电商经营模式发生很大改变。在传统运营模

式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借

个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提

供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准

确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费

者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周

期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费

观和价值观等。通过数据追踪，知道顾客从哪儿来，是看了某网站投

放的广告还是通过朋友推荐链接，是新访客还是老用户，喜欢浏览什

么产品，购物车有无商品，是否清空，还有每一笔交易记录，精准锁

定一定年龄、收入、对产品有兴趣的顾客，对顾客进行分组、标签化，

通过不同标签组合运用，获得不同目标群体，以此开展精准推送。

因数据驱动的零售新时代已经到来，没有大数据，我们无法为消

费者提供这些体验，为完成电商的大数据分析工作，你所在的小组将

应用大数据技术，以Scala、Java作为整个项目的基础开发语言，基

于大数据平台综合利用Spark、Flink、Vue.js等技术，对数据进行

处理、分析及可视化呈现，你们作为该小组的技术人员，请按照下面

任务完成本次工作。

模块A：大数据平台搭建（容器环境）（10分）

环境说明：

服务端登录地址详见各模块服务端说明。

补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；

相关软件安装包在容器Master节点的/opt/software目录下，请选

择对应的安装包进行安装，用不到的可忽略；

所有模块中应用命令必须采用绝对路径；

进入Master节点的方式为

dockerexec-itmaster/bin/bash

进入Slave1节点的方式为

dockerexec-itslave1/bin/bash

进入Slave2节点的方式为

dockerexec-itslave2/bin/bash

三个容器节点的root密码均为123456

任务一：Hadoop完全分布式安装配置

本环节需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。

命令中要求使用绝对路径，具体部署要求如下:

1、将容器Master节点JDK安装包解压并移动到/opt/module路径中(若路径不

存在，则需新建)，将命令复制并粘贴至客户端桌面【Release\模块A提交

结果.docx】中对应的任务序号下；

2、修改/etc/profile文件，设置JDK环境变量，配置完毕后在master节点分

别执行“java-version”和“javac”命令，将命令行执行结果分别截图并

粘贴至客户端桌面【Release\模块A提交结果.docx】中对应的任务序号下；

3、请完成host相关配置，将三个节点分别命名为master、slave1、slave2，

并做免密登录，用scp命令并使用绝对路径从master复制JDK解压后的安

装文件到slave1、slave2节点（若路径不存在，则需新建），并配置slave1、

slave2相关环境变量，将全部复制命令复制并粘贴至客户端桌面【Release\

模块A提交结果.docx】中对应的任务序号下；

4、在容器Master将Hadoop解压到/opt/module(若路径不存在，则需新建)目

录下，并将解压包分发至slave1、slave2中，其中master、slave1、slave2

节点均作为datanode，配置好相关环境，初始化Hadoop环境namenode，将

初始化命令及初始化结果截图（截取初始化结果结束倒数20行即可）复制

粘贴至客户端桌面【Release\模块A提交结果.docx】中对应的任务序号下；

5、启动Hadoop集群（包括hdfs和yarn），使用jps命令查看master节点与

slave1节点的java进程，将jps命令与结果截图复制粘贴至客户端桌面

【Release\模块A提交结果.docx】中对应的任务序号下。

任务二：ClickHouse单机部署

本环节需要使用root用户完成相关配置，具体要求如下：

1、将容器Master节点ClickHouse相关安装包解压到/opt/modul