大数据框架Hadoop主要模块介绍_光环大数据培训22.pdfVIP

光环大数据--大数据培训知名品牌 大数据框架Hadoop 主要模块介绍_光环大数据培训 hadoop Common: 包括Hadoop 常用的工具类，由原来的Hadoop core 部分 更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化 机制和Hadoop 抽象文件系统FileSystem 等。它们为在通用硬件上搭建云计算环 境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。 Hadoop Distributed File System (HDFS™): 分布式文件系统，提供对应用 程序数据的高吞吐量，高伸缩性，高容错性的访问。是Hadoop 体系中数据存储 管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本 的通用硬件上运行。HDFS 简化了文件的一致性模型，通过流式数据访问，提供 高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。 大数据 Hadoop YARN: 任务调度和集群资源管理。 Hadoop MapReduce: 基于YARN 的大型数据集并行处理系统。是一种计算模 型，用以进行大数据量的计算。Hadoop 的MapReduce 实现，和Common、HDFS 一 起，构成了Hadoop 发展初期的三个组件。MapReduce 将应用划分为Map 和Reduce 两个步骤，其中Map 对数据集上的独立元素进行指定的操作，生成键-值对形式 中间结果。Reduce 则对中间结果中相同“键”的所有“值”进行规约，以得到 最终结果。MapReduce 这样的功能划分，非常适合在大量计算机组成的分布式并 行环境里进行数据处理。 其他模块： 光环大数据 光环大数据--大数据培训知名品牌 Ambari: 是一种基于Web 的工具，支持Apache Hadoop 集群的供应、管理和 监控。Ambari 目前已支持大多数Hadoop 组件，包括HDFS、MapReduce、Hive、 Pig、Hbase、Zookeper、Sqoop 和Hcatalog 等。Ambari 支持HDFS、MapReduce、 Hive、Pig、Hbase、Zookeper、Sqoop 和Hcatalog 等的集中管理。Ambari 还提 供了一个用于查看集群健康状况的仪表板，例如散热图，以及可视化查看 MapReduce，Pig 和Hive 应用程序以及以用户友好的方式诊断其性能特征的功能。 也是5 个顶级hadoop 管理工具之一。 Avro: 数据序列化系统，由Doug Cutting 牵头开发，是一个数据序列化系 统。类似于其他序列化机制，Avro 可以将数据结构或者对象转换成便于存储和 传输的格式，其设计目标是用于支持数据密集型应用，适合大规模数据的存储与 交换。Avro 提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储 持久性数据的文件集、远程调用RPC 和简单动态语言集成等功能。 Cassandra: 可扩展的多主数据库，没有单点故障。是一套开源分布式NoSQL 数据库系统。它最初由Facebook 开发，用于储存收件箱等简单格式数据，集 GoogleBigTable 的数据模型与Amazon Dynamo 的完全分布式的架构于一身 Facebook 于2008 将 Cassandra 开源，此后，由于Cassandra 良好的可扩展性， 被Digg、Twitter 等知名Web 2.0 网站所采纳，成为了一种流行的分布式结构化 数据存储方案。 Cassandra 是一个混合型的非关系的数据库，类似于Google 的BigTable。 其主要功能比Dynamo (分布式的Key-Value 存储系统)更丰富，但支持度却不如 文档存储MongoDB(介于关系数据库和非关系数据库之间的开源产品，是非关系 数据库当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，是类似 json 的bjson 格式，因此可以存储比较复杂的数据类型)。Cassandra 最初由 Facebook 开发，后转变成了开源项目。它是一个网络社交云计算方面理想的数 据库。以Amazon