企业大数据项目分析流程包括以下步骤 选择题.pdfVIP

企业大数据项目分析流程包括以下步骤选择题--第1页

企业大数据项目分析流程包括以下步骤选择题

步骤

1、数据收集

大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服

务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，

且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种

日志收集工具，如Flume、Logstash、Kibana等，它们都能通过简单

的配置完成复杂的数据收集和数据聚合。

2、数据存储

收集到数据后，下一个问题就是：数据该如何进行存储?通常大家最

为熟知是MySQL、Oracle等传统的关系型数据库，它们的优点是能够

快速存储结构化的数据，并支持随机访问。但大数据的数据结构通常

是半结构化(如日志数据)、甚至是非结构化的(如视频、音频数据)，

为了解决海量半结构化和非结构化数据的存储，衍生了HadoopHDFS、

KFS、GFS等分布式文件系统，它们都能够支持结构化、半结构和非

结构化数据的存储，并可以通过增加机器进行横向扩展。

分布式文件系统完美地解决了海量数据存储的问题，但是一个优秀的

数据存储系统需要同时考虑数据存储和访问两方面的问题，比如你希

望能够对数据进行随机访问，这是传统的关系型数据库所擅长的，但

却不是分布式文件系统所擅长的，那么有没有一种存储方案能够同时

兼具分布式文件系统和关系型数据库的优点，基于这种需求，就产生

了HBase、MongoDB。

企业大数据项目分析流程包括以下步骤选择题--第1页

企业大数据项目分析流程包括以下步骤选择题--第2页

3、数据分析

大数据处理最重要的环节就是数据分析，数据分析通常分为两种：批

处理和流处理。

批处理：对一段时间内海量的离线数据进行统一的处理，对应的处理

框架有HadoopMapReduce、Spark、Flink等;

流处理：对运动中的数据进行处理，即在接收数据的同时就对其进行

处理，对应的处理框架有Storm、SparkStreaming、FlinkStreaming

等。

批处理和流处理各有其适用的场景，时间不敏感或者硬件资源有限，

可以采用批处理;时间敏感和及时性要求高就可以采用流处理。随着

服务器硬件的价格越来越低和大家对及时性的要求越来越高，流处理

越来越普遍，如股票价格预测和电商运营数据分析等。

上面的框架都是需要通过编程来进行数据分析，那么如果你不是一个

后台工程师，是不是就不能进行数据的分析了?当然不是，大数据是

一个非常完善的生态圈，有需求就有解决方案。为了能够让熟悉SQL

的人员也能够进行数据的分析，查询分析框架应运而生，常用的有

Hive、SparkSQL、FlinkSQL、Pig、Phoenix等。这些框架都能够使

用标准的SQL或者类SQL语法灵活地进行数据的查询分析。这些SQL

经过解析优化后转换为对应的作业程序来运行，如Hive本质上就是

将SQL转换为MapReduce作业，SparkSQL将SQL转换为一系列的RDDs

和转换关系(transformations)，Phoenix将SQL查询转换为一个或

多个HBaseScan。

企业大数据项目分析流程包括以下步骤选择题--第2页

企业大数据项目分析流程包括以下步骤选择题--第3页

4、数据应用

数据分析完成后，接下来就是数据应用的范畴，这取决于你实际的业

务需求。比如你可以将数据进行可视化展现，或者将数据用于优化你

的推荐算法，这种运用现在很普遍，比如短视频个性化推荐、电商商

品推荐、头条新闻推荐等。当然你也可以将数据用于训练你的机器学

习模型，这些都属于其他领域的范畴，都有