GZ-2022041大数据技术与应用赛项赛题完整版包括试题答案及全部附件-2022年全国职业院校技能大赛拟设赛项赛题.pdfVIP

2022 年全国职业院校技能大赛 高职组 “大数据技术与应用” 赛项赛卷（1 卷） 任 务 参赛队编号： 背景描述 大数据时代，电商经营模式发生很大改变。在传统运营模式中 ，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个 人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提 供一种全新的思路，通过大量的数据分析得出的结果将更加现实和 准确。商家可以对客户的消费行为信息数据进行收集和整理，比如 消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品 回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、 个人消费观和价值观等。通过数据追踪，知道顾客从哪儿来，是看 了某网站投放的广告还是通过朋友推荐链接，是新访客还是老用户 ，喜欢浏览什么产品，购物车有无商品，是否清空，还有每一笔交 易记录，精准锁定一定年龄、收入、对产品有兴趣的顾客，对顾客 进行分组、标签化，通过不同标签组合运用，获得不同目标群体， 以此开展精准推送。 因数据驱动的零售新时代已经到来，没有大数据，我们无法为 消费者提供这些体验，为完成电商的大数据分析工作，你所在的小 组将应用大数据技术，以 Scala 作为整个项目的基础开发语言，基 于大数据平台综合利用 Spark、Flink、Vue.js 等技术，对数据进行 处理、分析及可视化呈现，你们作为该小组的技术人员，请按照下 面任务完成本次工作。 模块A ：大数据平台搭建（容器环境）（15 分） 环境说明： 服务端登录地址详见各模块服务端说明。 补充说明：宿主机可通过 Asbru 工具或 SSH 客户端进行 SSH 访问； 相关软件安装包在宿主机的/opt 目录下，请选择对应的安装包进 行安装，用不到的可忽略； 所有模块中应用命令必须采用绝对路径； 从本地仓库中拉取镜像，并启动 3 个容器 进入 Master 节点的方式为 docker exec – it master /bin/bash 进入 Slave1 节点的方式为 docker exec – it slave1 /bin/bash 进入 Slave2 节点的方式为 docker exec – it slave2 /bin/bash 同时将/opt 目录下的所有安装包移动到3 个容器节点中。 任务一：Hadoop 完全分布式安装配置 本环节需要使用 root 用户完成相关配置，安装 Hadoop 需要配置前置环境。 命令中要求使用绝对路径，具体要求如下: 1、 将 Master 节点 JDK 安装包解压并移动到/usr/java 路径(若路径不存在，则 需新建)，将命令复制并粘贴至对应报告中; 2、 修改/root/profile 文件，设置 JDK 环境变量，配置完毕后在 Master 节点 分别执行 “java”和 “javac”命令，将命令行执行结果分别截图并粘贴至 对应报告中; 3、 请完成 host 相关配置，将三个节点分别命名为 master、slave1、slave2， 并做免密登录，使用绝对路径从 Master 节点复制 JDK 解压后的安装文件到 Slave1、Slave2 节点，并配置相关环境变量，将全部复制命令复制并粘贴 至对应报告中; 4、 在 Master 节点将 Hadoop 解压到/opt 目录下，并将解压包分发至 Slave1、Slave2 节点中,配置好相关环境，初始化 Hadoop 环境 namenode， 将初始化命令及初始化结果复制粘贴至对应报告中； 5、 启动 Hadoop 集群，查看 Master 节点 jps 进程，将查看结果复制粘贴至对 应报告中。 任务二：Spark on Yarn 安装配置 本环节需要使用 root 用户完成相关配置，已安装 Hadoop 及需要配置前置 环境，具体要求如下： 1、 将 scala 包解压到/usr/路径，配置环境变量使其生效，将完整命令复制粘 贴至对应报告中（若已安装，则可跳过）； 2、 配置/root/p