2026年河北省职业院校技能大赛数字技术应用赛项样题4.pdfVIP

主观题1:数字技术平台部署(30分)

本任务需要在Linux下中完成完全分布式Hadoop集群搭建、Hive安装及配置、完全分布式

Spark集群搭建，并验证组件的可用性，请使用root用户完成相关配置，具体要求如下。

1.1完全分布式Hadoop集群搭建：

(1)在master主节点将/data目录下的JAVA安装包和Hadoop安装包解压到/opt/software目

录下(需自行创建/opt/software目录),并将解压后的JAVA远程拷贝至slvael、slave2相同

目录下，最后查看各节点的/opt/software目录结构并将查看结果截图。

(2)在3个节点的/etc/profile文件中配置JDK环境变量JAVA_HOME、Hadoop环境变量

HADOOP_HOME和PATH的值，并让配置文件立即生效，之后在master节点使用“java

-version”查看JAVA版本，检测JAVA是否安装成功，将查看JAVA版本结果截图。

(3)根据下表修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers、

hadoop-env.sh、yarn-env.sh配置文件，以及HDFS与YARN的启动和关闭脚本。

表1Hadoop集群部署规划

服务器masterslave1slave2

HDFSNameNode

HDFSSecondaryNameNod

HDFSDataNodeDataNode

YARNResourceManager

YARNNodeManagerNodeManager

历史日志服务器JobHistoryServer

(4)在master节点上使用scp命令将配置完的Hadoop安装目录远程拷贝至slavel和slave2

相同目录下，之后查看slavel和slave2的/opt/software目录结构并将查看结果截图。

(5)在主节点格式化集群，成功格式化之后在主节点依次启动HDFS、YARN服务、

JobHistoryServer服务，并查看其节点进程，将查看结果截图。

(6)在HDFS文件系统中创建/etc目录，之后将本地/etc/profile文件上传至HDFS的/etc目

录下，并查看该目录下的文件和目录。

(7)使用hadoop-mapreduce-examples-3.1.4.jar包中的“wordcount”类对HDFS上的/etc/profile

文件内容进行单词计数，设置输出路径为“/output/”,查看最终单词计数结果中出现次数最

多的5个单词。

1.2Hive安装及配置：

(1)将/data目录下的Hive安装包解压到/opt/software目录下(需自行创建/opt/software目

录)。

(2)进入Hive安装目录的conf目录，将hive-env.sh.template重命名为hive-env.sh,之后查

看/etc/profile文件中的Hadoop安装目录(HADOOP_HOME),并将查看到的

HADOOP_HOME添加至hive-env.sh文件末尾。

(3)在Hive安装目录的conf目录下新建hive-site.xml配置文件并添加内容。

表2hive-site.xml部分参数

配置参数描述参数值