Hadoop源代码分析(二九).docVIP

2008-12-23 Hadoop源代码分析（二九） ? public boolean setReplication String src, short replication throws IOException; setReplication，设置文件src的副本数为replication，返回值为boolean，在FSNameSystem中，调用方法setReplicationInternal，然后写日志。 setReplicationInternal上来自然是检查参数了，然后通过FSDirectory的setReplication，设置新的副本数，并获取老的副本数。根据新旧数，决定删除/复制数据块。 增加副本数通过调用updateNeededReplications，为了获取UnderReplicatedBlocks. update需要的参数，FSNameSystem提供了内部方法countNodes和getReplication，获得对应的数值（这两个函数都很简单）。 proccessOverReplicatedBlock用于减少副本数，它被多个方法调用： 主要参数有block，副本数，目标DataNode，源DataNode（用于删除）。proccessOverReplicatedBlock首先找出block所在的，处于非Decommission状态的DataNode的信息，然后调用chooseExcessReplicates。chooseExcessReplicates执行： ????????????按机架位置，对DatanodeDescriptor进行分组； ????????????将DataNode分为两个集合，分别是一个机架包含一个以上的数据块的和剩余的； ????????????选择可以删除的数据块（顺序是：源DataNode，同一个机架上的，剩余的），把它加到recentInvalidateSets中。 ? public void setPermission String src, FsPermission permission throws IOException; setPermission，用于设置文件的访问权限。非常简单，首先检查是否有权限，然后调用FSDirectory.setPermission修改文件访问权限。 ? public void setOwner String src, String username, String groupname throws IOException; ? public void setTimes String src, long mtime, long atime throws IOException; ? public void setQuota String path, long namespaceQuota, long diskspaceQuota throws IOException; setOwner，设置文件的文件主和文件组，setTimes，设置文件的访问时间和修改时间，setQuota,设置某路径的空间限额和空间额度，和setPermission类似，调用FSDirectory的对应方法，简单。 ? public boolean setSafeMode FSConstants.SafeModeAction action throws IOException; 前面我们已经介绍了NameNode的安全模式，客户端通过上面的方法，可以让NameNode进入（SAFEMODE_ENTER）/退出（SAFEMODE_LEAVE）安全模式或查询（SAFEMODE_GET）状态。FSNamesystem的setSafeMode处理这个命令，对于进入安全模式的请求，如果系统现在不处于安全模式，那么创建一个SafeModeInfo对象（创建的这个对象有别于启动时创建的那个SafeModeInfo，它不会自动退出，因为threshold 1.5f），这标志着系统进入安全模式。退出安全模式很简单，将safeMode赋空就可以啦。 ? public FileStatus[] getListing String src throws IOException; 分析完set*以后，我们来看get*。getListing对应于UNIX系统的ls命令，返回值是FileStatus数组，FileStatus的类图如下，它其实给出了文件的详细信息，如大小，文件主等等。其实，这些信息都存在INode*中，我们只需要把这些信息搬到FileStatus中就OK啦。FSNamesystem和FSDirectory中都有同名方法，真正干活的地方在FSDirectory中。ge