大数据分析不能不懂6个技术光环大数据推出AI智客计划送2000助学金.pdfVIP

光环大数据--大数据培训人工智能培训 大数据分析不能不懂的6 个技术_光环大数据推出AI 智客计划送2000 助学金 目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处 理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来， 为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。 1.大数据生命周期 展示了一个典型的大数据技术栈。底层是基础设施，涵盖计算资源、内存与存储和网络 互联，具体表现为计算节点、集群、机柜和数据中心。在此之上是数据存储和管理，包括文 件系统、数据库和类似 YARN 的资源管理系统。然后是计算处理层，如 Hadoop、MapReduce 和 Spark，以及在此之上的各种不同计算范式，如批处理、流处理和图计算等，包括衍生出 编程模型的计算模型，如 BSP、GAS 等。 数据分析和可视化基于计算处理层。分析包括简单的查询分析、流分析以及更复杂的分 析(如机器学习、图计算等)。查询分析多基于表结构和关系函数，流分析基于数据、事件流 以及简单的统计分析，而复杂分析则基于更复杂的数据结构与方法，如图、矩阵、迭代计算 和线性代数。 一般意义的可视化是对分析结果的展示。但是通过交互式可视化，还可以探索性地提问， 使分析获得新的线索，形成迭代的分析和可视化。基于大规模数据的实时交互可视化分析以 及在这个过程中引入自动化的因素是目前研究的热点。 有 2 个领域垂直打通了上述的各层，需要整体、协同地看待。一是编程和管理工具， 方向是机器通过学习实现自动最优化、尽量无需编程、无需复杂的配置。另一个领域是数据 安全，也是贯穿整个技术栈。除了这两个领域垂直打通各层，还有一些技术方向是跨了多层 的，例如“内存计算”事实上覆盖了整个技术栈。 光环大数据 光环大数据--大数据培训人工智能培训 2.大数据技术生态 大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据 要处理大量、非结构化的数据，所以在各处理环节中都可以采用并行处理。目前，Hadoop、 MapReduce 和 Spark 等分布式处理方式已经成为大数据处理各环节的通用处理方法。 Hadoop 是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。Hadoop 是一个数据管理系统，作为数据 分析的核心，汇集了结构化和非结构化的数据，这些数据分布在传统的企业数据栈的每一层。 Hadoop 也是一个大规模并行处理框架，拥有超级计算能力，定位于推动企业级应用的执行。 Hadoop 又是一个开源社区，主要为解决大数据的问题提供工具和软件。 虽然 Hadoop 提供了很多功能，但仍然应该把它归类为多个组件组成的 Hadoop 生态 圈，这些组件包括数据存储、数据集成、数据处理和其他进行数据分析的专门工具。图2 展 示了 Hadoop 的生态系统，主要由 HDFS、MapReduce、Hbase、Zookeeper 、Oozie 、Pig、 Hive 等核心组件构成，另外还包括 Sqoop、Flume 等框架，用来与其他企业融合。同时， Hadoop 生态系统也在不断增长，新增 Mahout、Ambari 、Whirr、BigTop 等内容，以提供更 新功能。 低成本、高可靠、高扩展、高有效、高容错等特性让 Hadoop 成为最流行的大数据分 析系统，然而其赖以生存的 HDFS 和 MapReduce 组件却让其一度陷入困境——批处理的工 作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各种基于 Hadoop 的工具应运而生。 为了减少管理成本，提升资源的利用率，有当下众多的资源统一管理调度系统，例如 Twitter 的 ApacheMesos 、Apac