大数据运用核心技术分析-上书房信息咨询概要.pdfVIP

大数据运用核心技术分析 目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或 可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社 会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。 1.大数据生命周期 底层是基础设施，涵盖计算资源、内存与存储和网络互联，具体表现为计算节点、集群、 机柜和数据中心。在此之上是数据存储和管理，包括文件系统、数据库和类似YARN 的资源 管理系统。然后是计算处理层，如hadoop、MapReduce 和Spark，以及在此之上的各种不同 计算范式，如批处理、流处理和图计算等，包括衍生出编程模型的计算模型，如 BSP、GAS 等。数据分析和可视化基于计算处理层。分析包括简单的查询分析、流分析以及更复杂的分 析(如机器学习、图计算等)。查询分析多基于表结构和关系函数，流分析基于数据、事件流 以及简单的统计分析，而复杂分析则基于更复杂的数据结构与方法，如图、矩阵、迭代计算 和线性代数。一般意义的可视化是对分析结果的展示。但是通过交互式可视化，还可以探索 性地提问，使分析获得新的线索，形成迭代的分析和可视化。基于大规模数据的实时交互可 视化分析以及在这个过程中引入自动化的因素是目前研究的热点。 有2 个领域垂直打通了上述的各层，需要整体、协同地看待。一是编程和管理工具，方 向是机器通过学习实现自动最优化、尽量无需编程、无需复杂的配置。另一个领域是数据安 全，也是贯穿整个技术栈。除了这两个领域垂直打通各层，还有一些技术方向是跨了多层的， 例如“内存计算”事实上覆盖了整个技术栈。 2.大数据技术生态 大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据 要处理大量、非结构化的数据，所以在各处理环节中都可以采用并行处理。目前，Hadoop、 MapReduce 和Spark 等分布式处理方式已经成为大数据处理各环节的通用处理方法。 Hadoop 是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。Hadoop 是一个数据管理系统，作为数据分 析的核心，汇集了结构化和非结构化的数据，这些数据分布在传统的企业数据栈的每一层。 Hadoop 也是一个大规模并行处理框架，拥有超级计算能力，定位于推动企业级应用的执行。 Hadoop 又是一个开源社区，主要为解决大数据的问题提供工具和软件。虽然Hadoop 提供了 很多功能，但仍然应该把它归类为多个组件组成的Hadoop 生态圈，这些组件包括数据存储、 数据集成、数据处理和其他进行数据分析的专门工具。图2 展示了Hadoop 的生态系统，主 要由HDFS、MapReduce、Hbase、Zookeeper、Oozie、Pig、Hive 等核心组件构成，另外还包 括Sqoop、Flume 等框架，用来与其他企业融合。同时，Hadoop 生态系统也在不断增长，新 增Mahout、Ambari、Whirr、BigTop 等内容，以提供更新功能。 低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop 成为最流行的大数据分析 系统，然而其赖以生存的HDFS 和MapReduce 组件却让其一度陷入困境——批处理的工作 方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各种基于 Hadoop 的工具应运而生。为了减少管理成本，提升资源的利用率，有当下众多的资源统一 管理调度系统，例如Twitter 的Apache Mesos、Apache 的YARN、Google 的Borg、腾讯搜 搜的Torca、Facebook Corona(开源)等。Apache Mesos 是Apache 孵化器中的一个开源项 目，使用ZooKeeper 实现容错复制，使用Linux Containers 来隔离任务，支持多种资源计 划分配(内存和CPU)。提供高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、 MPI、Hypertable、Spark 等。YARN 又被称为MapReduce 2.0，借鉴Mesos，YARN 提出了资 源隔离解决方案Con