尚学堂haoop大数据培训Hadoop Ls命令增加显示条数限制参数.docVIP

北京尚学堂提供 前言 在hadoop的FsShell命令中,估计很多人比较常用的就是hadoop fs -ls,-lsr,-cat等等这样的与Linux系统中几乎一致的文件系统相关的命令.但是仔细想想,这里还是有一些些的不同的.首先,从规模的本身来看,单机版的文件系统,文件数目少,内容不多,而HDFS则是一个分布式系统,里面能容纳巨大数量的文件目录.因此在这个前提之下,你如果随意执行ls或lsr命令,有的时候会得到恐怖的数据条数的显示记录,有的时候我们不得不通过Ctrl+C的方式中止命令.所以对于未知目录的命令执行,是否可以在ls命令中增加显示限制的参数呢,这样可以控制一下文件记录信息的数量.这就是本文的一个出发点. 要想添加参数,就要先理解目前Ls命令工作的原理和过程.下面我从源代码的层面进行简单的分析.首先这里有个结构关系: Ls--FsCommand--Command 从左到右依次为孩子到父亲.所以Command类是最基础的类,命令行操作的执行入口就在这里.进入到Command.java方法中,你会看到有下面这个方法: /**? ???*?Invokes?the?command?handler.??The?default?behavior?is?to?process?options,? ???*?expand?arguments,?and?then?process?each?argument.? ???*?pre? ???*?run? ???*?|-?{@link?#processOptions(LinkedList)}? ???*?\-?{@link?#processRawArguments(LinkedList)}? ???*??????|-?{@link?#expandArguments(LinkedList)}? ???*??????|???\-?{@link?#expandArgument(String)}*? ???*??????\-?{@link?#processArguments(LinkedList)}? ???*??????????|-?{@link?#processArgument(PathData)}*? ???*??????????|???|-?{@link?#processPathArgument(PathData)}? ???*??????????|???\-?{@link?#processPaths(PathData,?PathData...)}? ???*??????????|????????\-?{@link?#processPath(PathData)}*? ???*??????????\-?{@link?#processNonexistentPath(PathData)}? ???*?/pre? ???*?Most?commands?will?chose?to?implement?just? ???*?{@link?#processOptions(LinkedList)}?and?{@link?#processPath(PathData)}? ???*?? ???*?@param?argv?the?list?of?command?line?arguments? ???*?@return?the?exit?code?for?the?command? ???*?@throws?IllegalArgumentException?if?called?with?invalid?arguments? ???*/?? ??public?int?run(String...argv)?{?? ????LinkedListString?args?=?new?LinkedListString(Arrays.asList(argv));?? ????try?{?? ??????if?(isDeprecated())?{?? ????????displayWarning(?? ????????????DEPRECATED:?Please?use?+?getReplacementCommand()?+??instead.);?? ??????}?? ??????processOptions(args);?? ??????processRawArguments(args);?? ????}?catch?(IOException?e)?{?? ??????displayError(e);?? ????}?? ?????? ????return?(numErrors?==?0)???exitCode?:?exitCodeForError();?? ??}?? 首先会进行参数的预处理,在这里会把参数中的一些参数给