2026年河北省职业院校技能大赛数字技术应用赛项样题5.docxVIP

主观题1:数字技术平台部署(30分)

本任务需要在Linux下中完成完全分布式Hadoop集群搭建、MySQL和Hive安装及配置，并验证组件的可用性，请使用root用户完成相关配置，具体要求如下。

1.1完全分布式Hadoop集群搭建：

(1)在master主节点将/data目录下的JAVA安装包和Hadoop安装包解压到/opt/software目录下(需自行创建/opt/software目录),并将解压后的JAVA远程拷贝至slvael、slave2相同目录下，最后查看各节点的/opt/software目录结构并将查看结果截图。

(2)在3个节点的/etc/profile文件中配置JDK环境变量JAVA_HOME、Hadoop环境变量HADOOP_HOME和PATH的值，并让配置文件立即生效，之后在master节点使用“java

-version”查看JAVA版本，检测JAVA是否安装成功，将查看JAVA版本结果截图。

(3)根据下表修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers、hadoop-env.sh、yarn-env.sh配置文件，以及HDFS与YARN的启动和关闭脚本。

表1Hadoop集群部署规划

服务器

master

slave1

slave2

HDFS

NameNode

HDFS

SecondaryNameNod

HDFS

DataNode

DataNode

YARN

ResourceManager

YARN

NodeManager

NodeManager

历史日志服务器

JobHistoryServer

(4)在master节点上使用scp命令将配置完的Hadoop安装目录远程拷贝至slavel和slave2相同目录下，之后查看slavel和slave2的/opt/software目录结构并将查看结果截图。

(5)在主节点格式化集群，成功格式化之后在主节点依次启动HDFS、YARN服务、JobHistoryServer服务，并查看其节点进程，将查看结果截图。

(6)在HDFS文件系统中创建/etc目录，之后将本地/etc/profile文件上传至HDFS的/etc目录下，并查看该目录下的文件和目录。

(7)使用hadoop-mapreduce-examples-3.1.4.jar包中的“wordcount”类对HDFS上的/etc/profile文件内容进行单词计数，设置输出路径为“/output/”,查看最终单词计数结果中出现次数最多的5个单词。

1.2MySQL配置：

(1)将/data目录下的mysql-community.repo文件复制到YUM仓库的配置文件/etc/yum.repos.d/。

(2)加载MySQL镜像源并使用yum命令下载安装mysql-community-server。

(3)在/var/log/mysqld.log文件中查询MySQL初始密码，并使用初始密码登录MySQL。

(4)使用初始密码登录MySQL后，先将密码修改为符合MySQL8.x密码规则的复杂密码，之后再修改密码规则并将密码改为简单密码123456。

(5)修改密码后退出MySQL,使用修改之后的密码重新登录MySQL,赋予root用户外部连接权限。

1.3Hive安装及配置：

(1)将/data目录下的Hive安装包解压到/opt/software目录下(需自行创建/opt/software目录)。

(2)进入Hive安装目录的conf目录，将hive-env.sh.template重命名为hive-env.sh,之后查看/etc/profile文件中的Hadoop安装目录(HADOOP_HOME),并将查看到的HADOOP_HOME添加至hive-env.sh文件末尾。

(3)在Hive安装目录的conf目录下新建hive-site.xml配置文件并添加内容。

表2hive-site.xml部分参数

配置参数

描述

参数值

hive.metastore.warehouse.dir

元数据库位置

hdfs://master:8020/user/hive/warehouse

javax.jdo.option.ConnectionURL

元数据库的链接信息

jdbc:mysql://master:3306/hive?createData