大数据——大价值、大机遇、大变革.pdf

章 Chapter Five 带来数据处理新变革 角度 TECHNOLOGY 2011年，大数据进入技术导入期 Gartner 2011年技术分析报告： 1. 大数据技术在技术导入期正处于上升通道。 2. 大数据相关的技术中，预测分析技术已经较 为成熟并稳步发展。 3. 云计算、内存数据库管理系统和社会分析等 技术也正处于期望膨胀期。 150  大数据——大价值、大机遇、大变革 2 0 1 2 年 大 数 据 将 进 入 井 喷 期 Gartner 2012年技术分析报告： 大数据相关基础技术 1. 大数据技术已经进入井喷期。 大数据 2. 大数据相关的预测分析、云计算、内存数据库管理 系统、社会分析等技术也在逐步发展且趋于成熟。 第5章 带来数据处理新变革  151 第1节 大数据的关键技术 152  大数据——大价值、大机遇、大变革 在大数据时代，传统的数据处理方法还适用吗？ 大数据环境下的数据处理需求 一致性 大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据 量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。 扩展性 传统数据处理方法的不足 传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多 采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处 可用性 理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据 CAP理论，难以保证其可用性和扩展性。 传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数 据为中心的模式，减少数据移动带来的开销。因此，传统的数据处理方 法，已经不能适应大数据的需求！ 第5章 带来数据处理新变革  153 大数据的处理流程包括哪些环节？每个环节有哪些主要工具？ 大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据要处理大量、非结构化的 数据，所以在各个处理环节中都可以采用MapReduce等方式进行并行处理。 适用于各处理环节的MapReduce等大规模并行处理方式 数据采集 数据预处理 数据存储 数据分析/挖掘 结果展现 具 工 型 典 Chuk- Sqoop HDFS