大数据架构和模式 第 3 部分 理解大数据解决方案的架构层_光环大数据培训大数据架构和模式 第 3 部分 理解大数据解决方案的架构层_光环大数据培训.pdf

光环大数据--大数据培训知名品牌 大数据架构和模式 第 3 部分 理解大数据解决方案的架构层_光环大数据培训 光环大数据培训机构，这个 “大数据架构和模式” 系列的 第 2 部分 介绍 了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文 章中的问题和提示分析了自己的情况，并且已经决定开始构建新的（或更新现有 的）大数据解决方案，那么下一步就是识别定义项目的大数据解决方案所需的组 件。 大数据解决方案的逻辑层 逻辑层提供了一种组织您的组件的方式。这些层提供了一种方法来组织执行特定 功能的组件。这些层只是逻辑层；这并不意味着支持每层的功能在独立的机器或 独立的进程上运行。大数据解决方案通常由以下逻辑层组成： 1、大数据来源 2、数据改动 (massaging) 和存储层 3、分析层 4、使用层 光环大数据 光环大数据--大数据培训知名品牌 大数据来源：考虑来自所有渠道的，所有可用于分析的数据。要求组织中的数据 科学家阐明执行您需要的分析类型所需的数据。数据的格式和起源各不相同： o 格式— 结构化、半结构化或非结构化。 o 速度和数据量— 数据到达的速度和传送它的速率因数据源不同而不同。 o 收集点— 收集数据的位置，直接或通过数据提供程序，实时或以批量模 式收集数据。数据可能来自某个主要来源，比如天气条件，也有可能来自 一个辅助来源，比如媒体赞助的天气频道。 o 数据源的位置— 数据源可能位于企业内或外部。识别您具有有限访问权 的数据，因为对数据的访问会影响可用于分析的数据范围。 数据改动和存储层：此层负责从数据源获取数据，并在必要时，将它转换为适合 数据分析方式的格式。例如，可能需要转换一幅图，才能将它存储在 Hadoop Distributed File System (HDFS) 存储或关系数据库管理系统 (RDBMS) 仓库中， 以供进一步处理。合规性制度和治理策略要求为不同的数据类型提供合适的存储。 分析层：分析层读取数据改动和存储层整理 (digest) 的数据。在某些情况下， 分析层直接从数据源访问数据。设计分析层需要认真地进行事先筹划和规划。必 须制定如何管理以下任务的决策： o 生成想要的分析 o 从数据中获取洞察 o 找到所需的实体 o 定位可提供这些实体的数据的数据源 o 理解执行分析需要哪些算法和工具。 使用层：此层使用了分析层所提供的输出。使用者可以是可视化应用程序、人类、 业务流程或服务。可视化分析层的结果可能具有挑战。有时，看看类似市场中的 竞争对手是如何做的会有所帮助。 光环大数据 光环大数据--大数据培训知名品牌 每一层包含多种组件类型，下面将会介绍这些类型。 图 1. 逻辑和垂直层的组件 光环大数据 光环大数据--大数据培训知名品牌 光环大数据 光环大数据--大数据培训知名品牌 大数据来源 此层包含所有必要的数据源，提供了解决业务问题所需的洞察。数据是结构化、 半结构化和非结构化的数据，而且来自许多来源： 企业遗留系统— 这些系统是企业应用程序，执行业务需要的分析并获取需要的 洞察： Web 应用程序和其他数据来源扩充了企业拥有的数据。这些应用程序可使用自定 义的协议和机制来公开数据。 o 客户关系管理系统 o 结算操作