《大数据平台应用》项目2 环视Hadoop.pptxVIP

;;;Hadoop的发展历程如图所示： ;特点;;;;;;;;特点;特点;;;;;功能;;;;;;;;;;;;NameNode（命名节点）：负责存放文件系统树及所有文件、目录的元数据。元数据可持久化为两种形式：namespcae image（命名空间镜像）和edit log（编辑日志）。;;（1）Client向HDFS发出上传文件的请求。 （2）HDFS请求被传送至NameNode，NameNode向edits中记录元数据操作日志，NameNode根据Client文件的大小计算并返回元数据信息给Client，在元数据中包括分成多少个Block、不同的Block放在哪些DataNode上等信息。 （3）Client根据NameNode返回的元数据信息将文件切分成n个Block，每个Block的大小默认是128MB。将第一个Block上传至Client选中的一个DataNode上。 （4）完成后，该DataNode将复制该Block作为副本到其他DataNode上。在默认情况下一个Block会有3个副本，并且分布在不同的DataNode上，这也是实现高可用和单点故障的解决方案。如果复制失败，则会重新分配DataNode进行复制。以此类推，把所有数据传送至DataNode上。 （5）Client上传文件成功后，将成功信息返回给NameNode，NameNode将本次元数据信息写入内存