2025年大数据架构和模式.doc

大数据架构和模式

DeveloperWorks(IBM)

年8月28曰公布

目录

TOC\o1-3\h\z\u第一章大数据分类和架构简介 3

1.1概述 3

1.2從分类大数据到选择大数据处理方案 3

1.3根据大数据类型對业务問題進行分类 4

1.4使用大数据类型對大数据特性進行分类 6

1.5結束語和道謝 8

第二章怎样懂得一种大数据处理方案与否适合您的组织 10

2.1简介 10

2.2我的大数据問題与否需要大数据处理方案 10

2.3维度可协助评估大数据处理方案的可行性 11

2.4业务价值：可通過大数据技术获取何种洞察 12

2.5我目前的环境能否扩展 16

2.6扩展我目前的环境的成本是多少 16

2.7對数据的治理和控制：對既有的IT治理有何影响 17

2.8我能否增量地实現大数据处理方案 18

2.9人员：与否已經有恰當的技能并调整了合适的人员 18

2.10与否拥有可用于获取洞察的既有数据 18

2.11数据复杂性与否在增長 19

2.11.1数据量与否已增長 19

2.11.2数据种类与否已增多 19

2.11.3数据的速度与否已增長或变化 19

2.11.4您的数据与否值得信赖 20

2.12与否所有大数据都存在大数据問題 20

第三章理解大数据处理方案的架构层 21

3.1概述 21

3.2大数据处理方案的逻辑层 21

3.2.1大数据来源 23

3.2.2数据改動和存储层 26

3.2.3分析层 26

3.2.4使用层 26

3.3垂直层 28

3.3.1信息集成 28

3.3.2大数据治理 29

3.3.3服务质量层 29

3.3.4系统管理 31

3.4結束語 31

第四章理解用于大数据处理方案的原子模式和复合模式 32

4.1简介 32

4.2原子模式 32

4.2.1数据使用模式 33

4.2.2处理模式 35

4.2.3访問模式 37

4.2.4存储模式 40

4.2.5复合模式 41

4.3結束語 44

第五章對大数据問題应用处理方案模式并选择实現它的产品 47

5.1简介 47

5.2处理方案模式 47

5.3用例描述：保险欺诈 47

5.4处理方案模式：入门 48

5.5处理方案模式：获得高级业务洞察 50

5.6处理方案模式：采用下一种最佳行動 52

5.7形成大数据处理方案骨干的产品和技术 54

5.8在欺诈检测中使用大数据分析的好处 55

5.9結束語 56

大数据分类和架构简介

摘要：大数据問題的分析和处理一般很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。如下操作是一种良好的開端：根据必须处理的数据的格式、应用的分析类型、使用的处理技术，以及目的系统需要获取、加载、处理、分析和存储数据的数据源，對大数据問題進行分类。

概述

大数据可通過許多方式来获取、存储、处理和分析。每個大数据来源均有不一样的特性，包括数据的频率、速率、数量、类型和真实性。处理并存储大数据時，會波及到更多维度，例如治理、安全性和方略。选择一种架构并构建合适的大数据处理方案极具挑战，由于需要考虑非常多的原因。

本“大数据架构和模式“系列提供了一种构造化和基于模式的措施来简化定义完整的大数据架构的任务。由于评估一种业务場景与否存在大数据問題很重要，因此我們包括了某些线索来协助确定哪些业务問題适合采用大数据处理方案。

從分类大数据到选择大数据处理方案

假如您花時间研究過大数据处理方案，那么您一定懂得它不是一种简朴的任务。本系列将简介查找满足您需求的大数据处理方案所波及的重要环节。

我們首先简介术語“大数据”所描述的数据类型。為了简化多种大数据类型的复杂性，我們根据多种参数對大数据進行了分类，為任何大数据处理方案中波及的各层和高级组件提供一种逻辑架构。接下来，我們通過定义原子和复合分类模式，提出一种构造来分类大数据业务問題。這些模式有助于确定要应用的合适的处理方案模式。我們提供了来自各行各业的示例业务問題。最终，對于每個组件和模式，我們給出了提供了有关功能的产品。

第1部分将简介怎样對大数据進行分类。本系列的後续文章将简介如下主題：

定义大数据处理方案的各层和组件的逻辑架构

理解大数据处理方