2026年河北省职业院校技能大赛数字技术应用赛项样题4.docxVIP

主观题1:数字技术平台部署(30分)

本任务需要在Linux下中完成完全分布式Hadoop集群搭建、Hive安装及配置、完全分布式Spark集群搭建，并验证组件的可用性，请使用root用户完成相关配置，具体要求如下。

1.1完全分布式Hadoop集群搭建：

(1)在master主节点将/data目录下的JAVA安装包和Hadoop安装包解压到/opt/software目录下(需自行创建/opt/software目录),并将解压后的JAVA远程拷贝至slvael、slave2相同目录下，最后查看各节点的/opt/software目录结构并将查看结果截图。

(2)在3个节点的/etc/profile文件中配置JDK环境变量JAVA_HOME、Hadoop环境变量HADOOP_HOME和PATH的值，并让配置文件立即生效，之后在master节点使用“java

-version”查看JAVA版本，检测JAVA是否安装成功，将查看JAVA版本结果截图。

(3)根据下表修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers、hadoop-env.sh、yarn-env.sh配置文件，以及HDFS与YARN的启动和关闭脚本。

表1Hadoop集群部署规划

服务器

master

slave1

slave2

HDFS

NameNode

HDFS

SecondaryNameNod

HDFS

DataNode

DataNode

YARN

ResourceManager

YARN

NodeManager

NodeManager

历史日志服务器

JobHistoryServer

(4)在master节点上使用scp命令将配置完的Hadoop安装目录远程拷贝至slavel和slave2相同目录下，之后查看slavel和slave2的/opt/software目录结构并将查看结果截图。

(5)在主节点格式化集群，成功格式化之后在主节点依次启动HDFS、YARN服务、JobHistoryServer服务，并查看其节点进程，将查看结果截图。

(6)在HDFS文件系统中创建/etc目录，之后将本地/etc/profile文件上传至HDFS的/etc目录下，并查看该目录下的文件和目录。

(7)使用hadoop-mapreduce-examples-3.1.4.jar包中的“wordcount”类对HDFS上的/etc/profile文件内容进行单词计数，设置输出路径为“/output/”,查看最终单词计数结果中出现次数最多的5个单词。

1.2Hive安装及配置：

(1)将/data目录下的Hive安装包解压到/opt/software目录下(需自行创建/opt/software目录)。

(2)进入Hive安装目录的conf目录，将hive-env.sh.template重命名为hive-env.sh,之后查看/etc/profile文件中的Hadoop安装目录(HADOOP_HOME),并将查看到的HADOOP_HOME添加至hive-env.sh文件末尾。

(3)在Hive安装目录的conf目录下新建hive-site.xml配置文件并添加内容。

表2hive-site.xml部分参数

配置参数

描述

参数值

hive.metastore.warehouse.dir

元数据库位置

hdfs://master:8020/user/hive/warehouse

javax.jdo.option.ConnectionURL

元数据库的链接信息

jdbc:mysql://master:3306/hive?createDatabaselfNotExist=true

javax.jdo.option.ConnectionDriverName

连接数据库驱动

com.mysql.cj.jdbc.Driver

javax.jdo.option.ConnectionUserName

连接数据库用户名称

root

javax.jdo.option.ConnectionPassword

连接数据库用户密码

123456

(4)将/data目录下的MySQL驱动mysql-connector-java-8.0.30.jar复制到Hive安装目录的lib目录，同时将该lib目录下的jline-2.12.jar复制到各节点的Hadoop安装目录的/share/hadoop/