大数据架构和模式(一)大数据分类和架构简介.docxVIP

大数据架构和模式（一）大数据分类和架构简介摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。　　相关文章：　　?大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织　　?大数据架构和模式（三）——理解大数据解决方案的架构层　　?大数据架构和模式（四）——了解用于大数据解决方案的原子模式和复合模式　　?大数据架构和模式（五）——对大数据问题应用解决方案模式并选择实现它的产品　　概述　　大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。　　这个 “大数据架构和模式” 系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。　　从分类大数据到选择大数据解决方案　　如果您花时间研究过大数据解决方案，那么您一定知道它不是一个简单的任务。本系列将介绍查找满足您需求的大数据解决方案所涉及的主要步骤。　　我们首先介绍术语 “大数据” 所描述的数据类型。为了简化各种大数据类型的复杂性，我们依据各种参数对大数据进行了分类，为任何大数据解决方案中涉及的各层和高级组件提供一个逻辑架构。接下来，我们通过定义原子和复合分类模式，提出一种结构来分类大数据业务问题。这些模式有助于确定要应用的合适的解决方案模式。我们提供了来自各行各业的示例业务问题。最后，对于每个组件和模式，我们给出了提供了相关功能的产品。　　第 1 部分将介绍如何对大数据进行分类。本系列的后续文章将介绍以下主题：定义大数据解决方案的各层和组件的逻辑架构理解大数据解决方案的原子模式理解用于大数据解决方案的复合（或混合）模式为大数据解决方案选择一种解决方案模式确定使用一个大数据解决方案解决一个业务问题的可行性选择正确的产品来实现大数据解决方案　　依据大数据类型对业务问题进行分类　　业务问题可分类为不同的大数据问题类型。以后，我们将使用此类型确定合适的分类模式（原子或复合）和合适的大数据解决方案。但第一步是将业务问题映射到它的大数据类型。下表列出了常见的业务问题并为每个问题分配了一种大数据类型。　　表 1. 不同类型的大数据业务问题业务问题大数据问题描述公用事业：预测功耗机器生成的数据公用事业公司推出了智慧仪表，按每小时或更短的间隔定期测量水、天然气和电力的消耗。这些智慧仪表生成了需要分析的大量间隔数据。公用事业公司还运行着昂贵而又复杂的大型系统来发电。每个电网包含监视电压、电流、频率和其他重要操作特征的复杂传感器。要提高操作效率，该公司必须监视传感器所传送的数据。大数据解决方案可以使用智慧仪表分析发电（供应）和电力消耗（需求）数据。电信：客户流失分析Web 和社交数据 交易数据电信运营商需要构建详细的客户流失模型（包含社交媒体和交易数据，比如 CDR），以跟上竞争形势。流失模型的值取决于客户属性的质量（客户主数据，比如生日、性别、位置和收入）和客户的社交行为。实现预测分析战略的电信提供商可通过分析用户的呼叫模式来管理和预测流失。市场营销：情绪分析Web 和社交数据营销部门使用 Twitter 源来执行情绪分析，以便确定用户对公司及其产品或服务的评价，尤其是在一个新产品或版本发布之后。客户情绪必须与客户概要数据相集成，才能得到有意义的结果。依据客户的人口统计特征，客户反馈可能有所不同。客户服务：呼叫监视人类生成的IT 部门正在依靠大数据解决方案来分析应用程序日志，以便获取可提高系统性能的洞察。来自各种应用程序供应商的日志文件具有不同的格式；必须将它们标准化，然后 IT 部门才能使用它们。零售：基于面部识别和社交媒体的个性化消息Web 和社交数据 生物识别零售商可结合使用面部识别技术和来自社交媒体的照片，根据购买行为和位置向客户提供个性化的营销信息。此功能对零售商忠诚度计划具有很大的影响，但它具有严格的隐私限制。零售商需要在实现这些应用程序之前进行适当的隐私披露。零售和营销：移动数据和基于位置的目标机器生成的数据 交易数据零售商可根据位置数据为客户提供特定的促销活动和优惠券。解决方案通常旨在在用户进入一个店铺时检测用户的位置，或者通过 GPS 检测用户的位置。位置数据与来自社交网络的客户偏好数据相结合，使零售商能够根据购买历史记录针对性地开展在线和