JSG202028 2020年全国江苏省大数据技术与应用竞赛样题.pdfVIP

2020年江苏省职业院校技能大赛高职组

“大数据技术与应用”赛项试题（样卷）

赛题说明

一、竞赛内容分布

任务一：Hadoop平台及组件的部署管理15%

任务二：数据采集20%

任务三：数据清洗与分析25%

任务四：数据可视化20%

任务五：综合分析15%

团队分工明确合理、操作规范、文明竞赛5%

二、竞赛时长

竞赛时长为4个小时。

三、竞赛注意事项

1．竞赛所需的硬件、软件和辅助工具由组委会统一布置，选手不得

私自携带任何软件、移动存储、辅助工具、移动通信等进入赛场；

2．请根据大赛所提供的比赛环境，检查所列的软件及工具组件清单

是否齐全，计算机设备是否能正常使用；

3．比赛完成后，比赛设备、软件和赛题请保留在座位上，禁止将比

赛所用的所有物品（包括试卷和草纸）带离赛场；

4．裁判以各参赛队提交的竞赛结果文档为主要评分依据。所有提交

的文档必须按照赛题所规定的命名规则命名，不得以任何形式体现参

赛院校、赛位号等信息；

5．本次比赛采用统一网络环境比赛，请不要随意更改客户端的网络

地址信息，对于更改客户端信息造成的问题，由参赛选手自行承担比

赛损失；

6．请不要恶意破坏竞赛环境，对于恶意破坏竞赛环境的参赛者，组

委会根据其行为予以处罚直至取消比赛资格；

7．比赛中出现各种问题及时向监考裁判举手示意，不要影响其他参

赛队比赛。

四、竞赛结果文件的提交

按照题目要求，提交符合模板的WORD文件以及对应的PDF文件（利

用OfficeWord另存为pdf文件方式生成pdf文件）和代码文件。

五、任务说明

越来越多的大学毕业生离开家乡，涌入中心城市就业，租房成为

很多年轻人的不二之选。在互联网+时代，越来越多的租房中介公司

选择提供线上租房信息服务。为了更好地了解不同城市的租房信息及

趋势，你所在的小组将承担模拟调研分析的任务，通过对租房网站进

行租房信息的爬取，获取到房源地址、户型、面积、配套设施、租金、

发布时间等信息，并通过对数据的清洗和分析，得出各城市房源总量，

平均租金（元/平米）、发展趋势等信息，并对不同类型的城市做出

对比分析。

为完成该项任务，你所在的小组计划选用在业界广泛应用的

Python和JAVA语言，作为整个项目的基础语言，并综合利用requests

模块、MapReduce、MySQL、Flask开源框架和ECharts组件提高开发

效率并实现项目要求，由于本次为模拟任务，总数据量不会过大，项

目组计划使用分布式节点Hadoop模式，本次项目环境搭建采用服务

器集群方式，配置了小规模的技术演示环境，通过在租房网站上爬取

到的相关信息，使用requests模块、Hive、Python、JAVA等手段对

数据进行爬取、清洗、整理、计算、表达、分析，力求实现对不同类

型城市的租房信息拥有更清晰的掌握。

请按照下面步骤完成本次技术展示任务，并提交技术报告。

任务一：HadoopHA相关组件安装部署及运行管理（15分）

当前环境中已安装JDK运行环境和MySQL数据库，相关安装信息

如下表所示，请在此环境基础上按照相关操作步骤安装部署。

考试环境信息表

编端口

号名称账号密码号路径

1JDK/usr/local/src/jdk

2MySQLrootpasswd3306/usr/local/src/mysql

3其他软件包/opt/softw