GZ-2022041 大数据技术与应用赛项试题完整版包括附件及评分标准-2022年全国职业院校技能大赛赛项正式赛卷.pdf

2022 年全国职业院校技能大赛 高职组 “大数据技术与应用” 赛项赛卷（6 卷） 任 务 书 参赛队编号： 1 背景描述 工业互联网是工业全要素、全产业链、全价值链的全面连接，是 人、机、物、工厂互联互通的新型工业生产制造服务体系，是互联网 从消费领域向生产领域、从虚拟经济向实体经济拓展的核心载体，是 建设现代化经济体系、实现高质量发展和塑造全球产业竞争力的关键 支撑。党中央、国务院高度重视工业互联网发展，习近平总书记连续 四年对推动工业互联网发展做出重要指示。加快发展工业互联网产业， 不仅是各国顺应产业发展大势，抢占产业未来制高点的战略选择，也 是我国推动制造业质量变革、效率变革和动力变革，实现高质量发展 的客观要求。 为完成工业大数据分析工作，你所在的小组将应用大数据技术， 以Scala 作为整个项目的基础开发语言，基于大数据平台综合利用 Hive、Spark、Flink、Vue.js 等技术，对数据进行处理、分析及可 视化呈现，你们作为该小组的技术人员，请按照下面任务完成本次工 作。 2 模块A：大数据平台搭建（容器环境）（15 分） 环境说明： 服务端登录地址详见各模块服务端说明。 补充说明：宿主机可通过Asbru 工具或SSH 客户端进行SSH 访问； 相关软件安装包在宿主机的/opt 目录下，请选择对应的安装包进行 安装，用不到的可忽略； 所有任务中应用命令必须采用绝对路径； 进入Master 节点的方式为 docker exec –it master /bin/bash 进入Slave1 节点的方式为 docker exec –it slave1 /bin/bash 进入Slave2 节点的方式为 docker exec –it slave2 /bin/bash MySQL 已在容器的Master 中安装完毕，用户名/密码为root/123456 任务一：Hadoop 完全分布式安装配置 本环节需要使用root 用户完成相关配置，安装Hadoop 需要配置前置环境。 具体要求如下: 1、从 宿 主 机 /opt 目 录 下 将 文 件 hadoop-2.7.7.tar.gz 、 jdk-8u212-linux-x64.tar.gz 复制到容器master 中的/opt/software 路径 中（若路径不存在，则需新建），将master 节点JDK 安装包解压到/opt/module 路径中(若路径不存在，则需新建)，将JDK 解压命令复制并粘贴至客户端桌 面【Release\重命名为工位号\模块A 提交结果.docx】中对应的任务序号下； 2、修改容器中/etc/profile 文件，设置JDK 环境变量并使其生效，配置完毕后 3 在 master 节点分别执行“java -version”和“javac”命令，将命令行执 行结果分别截图并粘贴至客户端桌面【Release\重命名为工位号\模块 A 提 交结果.docx】中对应的任务序号下； 3、请完成host 相关配置，将三个节点分别命名为master、slave1、slave2， 并做免密登录，用scp 命令并使用绝对路径从master 复制JDK 解压后的安 装文件到slave1、slave2 节点（若路径不存在，则需新建），并配置slave1、 slave2 相关环境变量，将全部scp 复制JDK 的命令复制并粘贴至客户端桌面 【Release\重命名为工位号\模块A 提交结果.docx】中对应的任务序号下； 4、在master 将Hadoop 解压到/opt/module (若路径不存在，则需新建) 目录下，