大数据相关知识点总结汇总.pdfVIP

⼤数据相关知识点总结汇总 ⼤数据相关知识点总结汇总 （思维导图在页⾯最后） 分布式存储HDFS 1. Hadoop的历史 作者dogcutting Doug Cutting是Lucene、Nutch 、Hadoop等项⽬的发起⼈ 1.1.Hadoop的三驾马车 1. GFS 2. MapReduce 3. BigTable 1.2.hadoop⽣态圈 1. hdfs 2. mapreduce 3. yarn 4. common 2.HDFS的存储原理 2.1 各个⾓⾊的作⽤ 2.1.1 NameNode 1. 接受客户端的读写请求 2. 管理元数据 1. 上传的⽂件的权限 2. 上传⽂件的属主以及属组 3. 上传⽂件的时间 4. 上传⽂件的block数以及ID号 5. 每⼀个Block的位置信息是由DN在集群启动之时汇报的 不会持久化 6. 各个DN位置信息 3、管理DN() 2.1.2 DataNode 1. 接受客户端的读请求 2. 存储block块 3. 向active NN汇报⼼跳 4. 构建pipeline 5. 管理本机上