大数据平台介绍.pptxVIP

大数据平台介绍;1;Hadoop大数据生态圈;HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。 Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。hive是基于Hadoop的大型数据仓库 （Data Warehouse），其目标是简化Hadoop上的数据聚集、即席查询及大数据集的分析等操作； HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库,分布式存储系统 Zookeeper（（分分布布式式协协作作服服务务）） 它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务 等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。 7、、Sqoop（（数数据据同同步步工工具具）） Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。 8、、Pig（（基基于于Hadoop的的数数据据流流系系统统）） Pig是Yahoo!提出的类似于Hive的大数据集分析平台,它提供的类SQL语言叫Pig Latin，一种基于操作符的数据流式的接口,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算 9、、Mahout（（数数据据挖挖掘掘算算法法库库）） Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。除了算 法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。 Mahout 是一个很强大的数据挖掘工具，Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。 10、、Flume（（日日志志收收集集工工具具）） Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。 它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换 等。此外，Flume还具有能够将日志写往各种数据目标（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。;Hadoop简介;Hadoop能解决哪些问题;HDFS适应条件;HDFS不适应条件;NameNode主要功能提供名称查询服务 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。;NameNode主要功能提供名称查询服务 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。;NameNode主要功能提供名称查询服务 DataNode通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。;NameNode主要功能提供名称查询服务 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。;NameNode主要功能提供名称