Hadoop大数据平台运维工程师须掌握的基本命令.pdfVIP

Hadoop 大数据平台运维工程师须掌 Hadoop 大数据平台运维工程师须掌 握的基本命令 握的基本命令 1、列出所有Hadoo Shell 支持的命令 1、列出所有Hadoo Shell 支持的命令 $ bin/hadoo fs -hel $ bin/hadoo fs -hel 2、显示关于某个命令的详细信息 2、显示关于某个命令的详细信息 $ bin/hadoo fs -hel command-name $ bin/hadoo fs -hel command-name 3、用户可使用以下命令在指定路径下查看历史日志汇 3、用户可使用以下命令在指定路径下查看历史日志汇 总 总 $ bin/hadoo job -history out ut-dir #这条命令会 $ bin/hadoo job -history out ut-dir #这条命令会 显示作业的细节信息，失败和终止的任务细节。 显示作业的细节信息，失败和终止的任务细节。 4、关于作业的更多细节，比如成功的任务，以及对每 4、关于作业的更多细节，比如成功的任务，以及对每 个任务的所做的尝试次数等可以用下面的命令查看 个任务的所做的尝试次数等可以用下面的命令查看 $ bin/hadoo job -history all out ut-dir $ bin/hadoo job -history all out ut-dir 5、 格式化一个新的分布式文件系统： 5、 格式化一个新的分布式文件系统： $ bin/hadoo namenode -format $ bin/hadoo namenode -format 6、在分配的NameNode 上，运行下面的命令 动HDFS： 6、在分配的NameNode 上，运行下面的命令 动HDFS： $ bin/start- fs.sh #脚本会参照NameNo e 上 $ bin/start- fs.sh #脚本会参照NameNo e 上 $ {HADOOP_CONF_DIR}/slaves 件的内容，在所有列出的 $ {HADOOP_CONF_DIR}/slaves 件的内容，在所有列出的 slave 上启动DataNo e 守护进程。 slave 上启动DataNo e 守护进程。 7、在分配的JobTracker 上，运行下面的命令启动 7、在分配的JobTracker 上，运行下面的命令启动 Map/Re uce： Map/Re uce： $ bin/start-mapre .sh #脚本会参照JobTracker 上 $ bin/start-mapre .sh #脚本会参照JobTracker 上 $ {HADOOP_CONF_DIR}/slaves 件的内容，在所有列出的 $ {HADOOP_CONF_DIR}/slaves 件的内容，在所有列出的 slave 上启动TaskTracker 守护进程。 slave 上启动TaskTracker 守护进程。 8、在分配的NameNo e 上，执行下面的命令停止HDFS： 8、在分配的NameNo e 上，执行下面的命令停止HDFS： $ bin/stop- fs.sh #脚本会参照NameNo e 上 $ bin/stop- fs.sh #脚本会参照NameNo e 上 $ {HADOOP_CONF_DIR}/slaves 件的内容，在所有列出的 $ {HADOOP_CONF_DIR}/slaves 件的内容，在所有列出的 slave 上停止DataNo e 守护进程。 slave 上停止DataNo e 守护进程。 9、在分配的JobTracker 上，运行下面的命令停止 9、在分配的JobTracker 上，运行下面的命令停