原创力文档- 1、本文档共121页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
目录
?????\t/m0article/details/_self第一章：项目概述
\t/m0article/details/_self1.1项目需求和目标
\t/m0article/details/_self1.2预备知识
\t/m0article/details/_self1.3项目架构设计及技术选取
\t/m0article/details/_self1.4开发环境和开发工具
\t/m0article/details/_self1.5项目开发流程
\t/m0article/details/_self第二章：搭建大数据集群环境
\t/m0article/details/_self2.1安装准备
\t/m0article/details/_self2.2Hadoop集群搭建
\t/m0article/details/_self2.3Hive安装
\t/m0article/details/_self2.4Sqoop安装
\t/m0article/details/_self第三章：数据采集
\t/m0article/details/_self3.1知识概要
\t/m0article/details/_self3.2分析与准备
\t/m0article/details/_self3.3采集网页数据
\t/m0article/details/_self第四章：数据预处理?
\t/m0article/details/_self4.1分析预处理数据
\t/m0article/details/_self4.2设计数据预处理方案
\t/m0article/details/_self4.3实现数据的预处理
\t/m0article/details/_self第五章：数据分析
\t/m0article/details/_self5.1数据分析概述
\t/m0article/details/_self5.2Hive数据仓库
\t/m0article/details/_self5.3分析数据
\t/m0article/details/_self第六章：数据可视化
\t/m0article/details/_self6.1平台概述
\t/m0article/details/_self6.2数据迁移
\t/m0article/details/_self6.3平台环境搭建
\t/m0article/details/_self6.4实现图形化展示功能
第一章：\t/m0article/details/_blank项目概述
1.1项目需求
项目需求：
本项目是以国内某互联网招聘网站全国范围内的大数据相关招聘信息作为基础信息，其招聘信息能较大程度地反映出市场对大数据相关职位的需求情况及能力要求，利用这些招聘信息数据通过大数据分析平台重点分析一下几点：
分析大数据职位的区域分布情况
分析大数据职位薪资区间分布情况
分析大数据职位相关公司的福利情况
分析大数据职位相关公司技能要求情况
1.2预备知识
知识储备：
JAVA面向对象编程思想
Hadoop、Hive、Sqoop在Linux环境下的基本操作
HDFS与MapReduce的JavaAPI程序开发
大数据相关技术，如Hadoop、HIve、Sqoop的基本理论及原理
Linux操作系统Shell命令的使用
关系型数据库MySQL的原理，SQL语句的编写
网站前端开发相关技术，如HTML、JSP、JQuery、CSS等
网站后端开发框架Spring+SpringMVC+MyBatis整合使用
Eclipse开发工具的应用
Maven项目管理工具的使用
1.3项目\t/m0article/details/_blank架构设计及技术选取
1.4\t/m0
文档评论（0）