2021高职 大数据技术与应用 任务书2（赛项赛题）.pdfVIP

2021年全国职业院校技能大赛

高职组

“大数据技术与应用”

赛项赛卷G（Z-xxxxxxx-X卷）

任

务

书

参赛队编号：

背景描述

据视财经报道，2020年我国020市场规模突破万亿元，020市

场存在着巨大的潜力。特别是餐饮和外卖行业，占据市场较大份额,

并且业务增长迅速。截至2020年底，全国外卖总体订单量已超过

171.2亿单，同比增长7.5%,全国外卖市场交易规模达到8352亿元，

同比增长14.8%我国外卖用户规模已接近5亿人，其中80后、90

o

后是餐饮外卖服务的中坚消费力量，消费者使用餐饮外卖服务也不再

局限于传统的一日三餐，下午茶和夜宵逐渐成为消费者的外卖新宠。

为把握这一商业机遇，ChinaSkills公司计划进驻外卖平台市场，现

需对大规模成熟外卖平台进行详细评估调研，采集多方多维度数据,

寻找行业痛点，摸清市场需求，以技术为手段为投资保驾护航。

为完成该项工作，你所在的小组将应用大数据技术，以Python、

Java、Scala作为整个项目的基础开发语言，基于大数据平台综合利

用MapReduceSpark,MySQL、Scrapy、FlaskECharts等,对数据

进行获取、处理、清洗、挖掘、分析、可视化呈现，力求实现对公司

未来的重点战略方向提出建议。

你们作为该小组的技术人员，请按照下面任务完成本次工作，并

编综合报告。

模块A:Hadoop平台及组件的部署管理（15分）

环境说明:

编号主机名类型用户密码

1master主节点rootpasswd

2slavel从节点rootpasswd

3slave2从节点rootpasswd

补充说明：主节点MySQL数据库用户名/密码：

root/Passwordl23$

相关软件安装包在/chinaskills目录下

所有模块中应用命令必须采用绝对路径

任务一：Hadoop全分布部署管理

本环节需要使用root用户完成相关配置，安装Hadoop需要配置前置环

境。命令中要求使用绝对路径，具体部署要求如下：

1、将/chinaskills下的JDK包解压到/usr/local/src路径，将完整命令复

粘贴到对应报告中；

2、修改/root/.bash_profil文件，设置JDK环境变量，并使环境变量只对当

前root用户生效将环境变量配置内容复粘贴至对应报告中；

3,从mastr复上面步骤配置的JDK环境变量文件到slavl、slav2节

点，命令和结果复粘贴在对应报告中；

4、配置SSH密钥登录，实现从mastr登录到slavl,将登录命令和结果复

粘贴在对应报告中；

5,将配置文件hadoop-nv.sh变更内容复粘贴在对应报告中；

6、将配置文件cor-sit,xml变更内容复粘贴在对应报告中；

7、初始化Hadoop环境namenode,将命令及结果复粘贴在对应报告中；

8、查看master及slavel节点jps进程，将其命令及结果复粘贴至对应报

告中。

任务二：Flume部署管理

1、设置Flume环境变量，并使环境变量只对当前root用户生效，将变量内容

复并粘贴到对应报告中。

2、修改并配置flume-env.sh文件，将