大数据架构和模式 大数据分类和架构简介梳理.pdfVIP

大数据架构和模式一（）：大数据分类和架构简介

L本文对大数据做了哪些分类？

2.对数据进行分类后，如何将与合适的大数据模式匹配？

如何将大数据分为不同的类别

大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞

察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类

型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对

大数据问题进行分类。

概述

大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括

数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治

理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非

常多的因素。

这个大数据架构和模式”系列提供了一种结构化和基干模式的方法来简化定义完整的大

数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以我们包含了一些

线索来帮助确定哪些业务问题适合采用大数据解决方案,

从分类大数据到选择大数据解决方案

如果您花时间研究过大数据解决方案，那么您一定知道不是一个简单的任务。本系列将介

绍查找满足您需求的大数据解决方案所涉及的主要步骤.

我们首先介绍术语大数据〃所描述的数据类型。为了简化各种大数据类型的狂杂性，我们

依据各种参数对大数据进行了分类，为任何大数据解决方案中涉及的各层和高级组件提供一

个逻辑架构。接下来，我们通过定义原子和复合分类模式，提出一种结构来分类大数据业务

问题。这些模式有助于确定要应用的合适的解决方案模式。我们提供了来自各行各业的示例

业务问题。最后，对于每个组件和模式，我们给出了提供了相关功能的产品。

第1部分将介绍如何对大数据进行分类。本系列的后续文章将介绍以下主题：

•定义大数据解决方案的各层和组件的逻辑架构

•理解大数据解决方案的原子模式

•理解用于大数据解决方案的复合（或混合）模式

•为大数据解决方案选择一种解决方案模式

•确定使用一-个大数据解决方案解决一个业务问题的可行性

•选择正确的产品来实现大数据解决方案

依据大数据类型对业务问题进行分类

.业务问题可分类为不同的大数据问题类型。以后，我们将受用此类型确定合适的分类模式（原

子或复合）和合适的大数据解决方案。但第一步是将业务问题映射到的大数据类型。下表

列出了常见的业务问题并为每个问题分配了一种大数据类型。

按类型对大数据问题分类，更容易看到每种数据的特征。这特征可帮助我们了解如何获取

数据，如何将它处理为合适的格式，以及新数据出现的频率。来自不同来源的数据具有不同

的特征；例如，社交媒体数据包含不断传入的视频、图像和非结构化文本（比如博客文章）。

表1.不同类型的大数据业务问题

业务问题大数据问题描述

公用事业公司推出了智琴仪表,按每小时或更短的间定期测量水、天然气

和电力的消耗。这些智慧仪表生成了需要分析的大量间数据.

公用事业：预测公用事业公司还运行着昂贵而又舞杂的大型系统来发电。每个电网包含监视

机器生成的行

功耗电压、电流、频率和其他重要操作特征的复杂传惑器。

要提高操作效率.该公司必须监视传感器所传送的数据。大致案解决方葡可

以使用智戢仪袤分析发电（供应）和电力消耗（需求）数据。

Web和社交数电信运营商