HadoopHDFS若干问题(中文).pdfVIP

////////// 在 Hadoop 的 HDFS 中，是如何把文件分割后的 block 分散到一个个的 datanode 中，有源代码的相关方法说明最好 回答 （1）文件分割后，会有一个 文件 -- block 的映射，这个映射是持久化 到硬盘中的，具体的映射关系表是在FSNamesystem.java 中构建的（该部分的构 建使用的是FSDirectory.java 的功能，filename - blockset）； 有了文件到块的映射表就可以通过文件找到blocklist； （2）datanode 的选取，hadoop 有它本身的机制，一般来说，datanode 默 认是三个，选取的是不同机架的 datanode，同机架里选一台，另一个机架里选 取两台（安全性等考虑）； （3）block 写入datanodes，选取的三个datanode，比如说是A、B、C，先 写给A，A 再写给B，B 再写给C；然后B 收到C 的写入成功，A 收到B 的写入成 功，然后告诉namenode 和 client 写入成功； （4）真正写的并不是block，而是比block 更小的好像是chunk ，还包括 有各种校验。 /////////// 这个过程我大致了解，现在我缺少namenode 为block 选择 datanode 的策 略。就是说namenode 会随机先选一个datanode，把block 送往datanode，您知 道这个策略吗？ 回答 策略是这样的（拿默认的选取的三个datanode 举例）： （1）如果hadoop 正在一个datanode 上写，那么这台datanode 就是那三台 datanodes 的第一台。如果hadoop 没有在任何datanode 上写，那么就随机选择 一台datanode。此datanode 假设为A； （2）第二台datanode 就是与A 不在同一个机架的datanode，设为B； （3）第三台机器是与B 在同一机架的机器，设为C； 这样就把三台datanode 选取了（包括一些random 的选择）。 具体的使用代码是在FSNamesystem 中，比如有 private DatanodeDescriptor chooseSourceDatanode( Block block,ListDatanodeDescriptor containingNodes,NumberReplicas numReplicas) 这个选择是要做很多判断的，如是否失效啊，是否随机去选取啊。 选取了第一个datanode，剩下的就好选了。如有 public DatanodeInfo chooseDatanode(String srcPath, String address, long blocksize) //Choose a datanode near to the given address. 很多东西源码里都有。 其他1 条回答 2012-11-05 00:36lwgarmstrong|二级 你搞错逻辑了。通过hdfs 的client 将文件put 到hdfs 上时，是通过管线 的方式，每次client 传输一个packet 到一个datanode 上，datanode 在同时传 给其他daanode，保证了该块的N 副本。等到该datanode 上的block size 达到 dfs.block.size 的时候。再循环传输下个block 大小的数据到hdfs，这样最终 将数据传输到hdfs //////// hadoop 中文件是怎么存储的 假如集群中有2 个数据节点，那我存储文件的时候需要给这个文件确定明确 的存储路径吗？我该怎么知道我存储的文件是存放在哪个节点上？新手 ，求帮 忙，先谢过了 回答 1、存储文件的时候需要指定存储的路径，这个路径是HDFS 的路径。而不是 哪个节点的某个目录。比如./hadoop fs -put localfile hdfspat 一般操作的当前路径是/user/hadoop 比如执行./hadoop fs -ls .实际上就 相当于./hadoop fs -ls