大数据分析 步骤.pdfVIP

大数据分析步骤

大数据处理流程主要包括数据收集、数据预处理、数据存储、

数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数

据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据

质量产生影响作用。通常，一个好的大数据产品要有大量的数据规

模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表

以及简练易懂的结果解释，本文将基于以上环节分别分析不同阶段

对大数据质量的影响及其关键影响因素。

一、数据收集

在数据收集过程中，数据源会影响大数据质量的真实性、完整

性数据收集、一致性、准确性和安全性。对于Web数据，多采用网

络爬虫方式进行收集，这需要对爬虫软件进行时间设置以保障收集

到的数据时效性质量。比如可以利用易海聚采集软件的增值API设

置，灵活控制采集任务的启动和停止。

二、数据预处理

大数据采集过程中通常有一个或多个数据源，这些数据源包括

同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、

数据值缺失、数据冲突等影响，因此需首先对收集到的大数据集合

进行预处理，以保证大数据分析与预测结果的准确性与价值性。

大数据的预处理环节主要包括数据清理、数据集成、数据归约

与数据转换等内容，可以大大提