Hadoop大数据开发与性能调优实战培训课程.pptVIP

Hadoop的特点 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据并且线性扩展。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。 可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务。 Hadoop集群的物理分布 Namenode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件和目录的元信息以及每个文件对应的数据块列表。接收用户的操作请求。 NN包括： fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间 以上这些文件是保存在linux的文件系统中 SecondaryNameNode HA的一个解决方案。但不支持热备。 执行过程：从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，同时重置NameNode的edits。合并策略是根据时间和根据ed