5.6大数据分析流程 (1)讲解.pptx

大数据算法与应用实践

引言——2020疫情大数据

大数据最重要的是分析数据，挖掘数据的价值！

2

3

数据清洗

4

数据管理与存储

5

数据分析与建模

1

数据采集

目

录

CONTENTS

数据可视化

大数据采集

大数据的三个主要来源

物联网系统：非结构化数据、半结构化数据——特定系统接口

Web系统：半结构化数据、结构化数据——网络爬虫、日志采集

传统信息系统：结构化数据，价值密度高——业务流程相关

数据清洗

从数据收集结束，到统计分析之前，需要对数据做的清理工作。数据清洗是数据质量管理的重要部分，是大数据分析的基石。数据清洗过程中，主要解决数据中存在的以下问题：

不完整数据(即缺省值)

异常值

重复记录值

数据的不一致性

数据管理与存储——（1）

大数据存储面临的问题

存储规模大

数据种类多样化，存储管理复杂

对数据服务种类和水平要求高

分布式存储优势

可扩展低成本高可用易用性

大数据存储与管理——（2）

大数据有效存储和管理的三种方式：

不断加密

仓库存储

云端备份

云端备份

数据分析与建模

数据分析是大数据处理流程的核心步骤，通过数据抽取和集成环节，用户可以根据自己的需求对这些数据进行分析处理，比如数据挖掘、机器学习、数据统计等，数据分析可以用于决策支持、商业智能、推荐系统、预测系统等。通过数据分析我们能够掌握数据中的信息。

大数据分析与建模

回归

算法

分类算法

聚类算法

……

数据可视化

数据可视化就是用图形的方式来表征数据的规律。

谢谢观看