大数据平台介绍.pptVIP

* NameNode主要功能提供名称查询服务 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。 * * NameNode主要功能提供名称查询服务 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。 * * NameNode主要功能提供名称查询服务 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN 每个集群都有一个，不接收或记录任何实时数据变化，但与NN进行通信，定期保存HDFS元数据快照。如 NN发生问题，及时作为备用NN使用，将宕机时间和数据的损失降低到最小。 * * * * * * * * * * * * HFile， HBase中KeyValue数据的存储格式 HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行 HStore存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer， 用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile） 但是在分布式系统环境中，无法避免系统出错或者宕机，因此一旦HRegionServer意外退出，MemStore中的内存数据将会丢失，这就需要引入HLog了。 * * * * * * * Hbase实例 第三十页，编辑于星期二：三点 九分。 大数据应用介绍 第三十一页，编辑于星期二：三点 九分。 用户上网行为分析系统 第三十二页，编辑于星期二：三点 九分。 用户行为分析系统数据处理流程图 第三十三页，编辑于星期二：三点 九分。 唯品会日志处理框架简介 第三十四页，编辑于星期二：三点 九分。 唯品会日志处理框架简介 第三十五页，编辑于星期二：三点 九分。 全国重点车辆联网联控平台 第三十六页，编辑于星期二：三点 九分。 Cloudera Manager介绍 第三十七页，编辑于星期二：三点 九分。 Cloudera Manager介绍 CDH (Clouderas Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Hbase、Spark等服务的安装配置管理做了极大简化。 Cloudera Manager有四大功能 （1）管理 （2）监控 （3）诊断 （4）集成 第三十八页，编辑于星期二：三点 九分。 Cloudera Manager介绍 Cloudera Flume Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据； Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 第三十九页，编辑于星期二：三点 九分。 Cloudera Manager介绍 Cloudera Impala Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。 Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎（由Query Plan