2026年河北省职业院校技能大赛数字技术应用赛项样题5.pdfVIP

主观题1:数字技术平台部署(30分)

本任务需要在Linux下中完成完全分布式Hadoop集群搭建、MySQL和Hive安装及配置，

并验证组件的可用性，请使用root用户完成相关配置，具体要求如下。

1.1完全分布式Hadoop集群搭建：

(1)在master主节点将/data目录下的JAVA安装包和Hadoop安装包解压到/opt/software目

录下(需自行创建/opt/software目录),并将解压后的JAVA远程拷贝至slvael、slave2相同

目录下，最后查看各节点的/opt/software目录结构并将查看结果截图。

(2)在3个节点的/etc/profile文件中配置JDK环境变量JAVA_HOME、Hadoop环境变量

HADOOP_HOME和PATH的值，并让配置文件立即生效，之后在master节点使用“java

-version”查看JAVA版本，检测JAVA是否安装成功，将查看JAVA版本结果截图。

(3)根据下表修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers、

hadoop-env.sh、yarn-env.sh配置文件，以及HDFS与YARN的启动和关闭脚本。

表1Hadoop集群部署规划

服务器masterslave1slave2

HDFSNameNode

HDFSSecondaryNameNod

HDFSDataNodeDataNode

YARNResourceManager

YARNNodeManagerNodeManager

历史日志服务器JobHistoryServer

(4)在master节点上使用scp命令将配置完的Hadoop安装目录远程拷贝至slavel和slave2

相同目录下，之后查看slavel和slave2的/opt/software目录结构并将查看结果截图。

(5)在主节点格式化集群，成功格式化之后在主节点依次启动HDFS、YARN服务、

JobHistoryServer服务，并查看其节点进程，将查看结果截图。

(6)在HDFS文件系统中创建/etc目录，之后将本地/etc/profile文件上传至HDFS的/etc目

录下，并查看该目录下的文件和目录。

(7)使用hadoop-mapreduce-examples-3.1.4.jar包中的“wordcount”类对HDFS上的/etc/profile

文件内容进行单词计数，设置输出路径为“/output/”,查看最终单词计数结果中出现次数最

多的5个单词。

1.2MySQL配置：

(1)将/data目录下的mysql-community.repo文件复制到YUM仓库的配置文件

/etc/yum.repos.d/。

(2)加载MySQL镜像源并使用yum命令下载安装mysql-community-server。

(3)在/var/log/mysqld.log文件中查询MySQL初始密码，并使用初始密码登录MySQL。

(4)使用初始密码登录MySQL后，先将密码修改为符合MySQL8.x密码规则的复杂密码，

之后再修改密码规则并将密码改为简单密码123456。

(5)修改密码后退出MySQL,使用修改之后的密码重新登录MySQL,赋予root用户外部

连接权限。

1.3Hive安装及配置：

(1)将/data目录下的Hive安装包解压到/opt/software目录下(需自行创建/opt/software目

录)。

(2)进入Hive安装目录的conf目录，将hive-env.sh.templ