大数据平台之数据存储.pdfVIP

大数据平台之数据存储

一、前言

我们都知道，采集数据之后，得到数据是原始的和杂乱的，必须经过专

门的洗、关联、规范化和精心的组织建模，而且要通过数据质量检

测后才能进行后续的数据分析或用于提供数据服务，而这就是数据平台

构建的关键环节•。数据存储处理

而我们今天要聊的是大数据平台是如何去存储海量数据呢？

在之前，我们聊过，大数据的数据采集并存储的数据流程，如下图所

示：

Spark/FlinkUklkd光客

在整个大数据生态圈里，数据存储可以分为两大类：

1、是直接以文件形式存放在分布式文件系统上，处理工具可以直接读

写（Hive和SparkSQL都是这类）。

2、通过kafak存储实时数据，经过实时计算框架最后把指标数据利用

NoSQL数据库来存储和管理数据（NOSQL数据库Hbase之类）。

二、数据存储的发展

2.1传统数据存储

互联网时代各种存储框架层出不穷，眼花缭乱，比如传统的OLTP关系

型数据库