hadoop维护.docxVIP

Hadoop维护bin/hadoopfsck / -files #显示根目录下得文件及block……The filesystem under path / is CORRUPT #最后提示根目录下有损坏文件通过上面这个命令我们就可以监测出文件的存储状况，监测出有无效的或者缺失的block，下面我们就可以执行-delete命令，来清楚无效的信息块。（需要注意的是在执行fsck命令行的客户端必选在hadoop-site.xml中配置dfs.http.address项，即namenode的http地址。否则会抛出J.ConnectException: Connection refused异常。hadoop-2.6.0好像没有这个要求？）bin/hadoopfsck / -delete#删除 /目录下的无效的信息块Block数大于hdfs-site.xml 配置的副本数/linux/_yuanchuang_hadoop_fsckjiankangjiancha_37913_1354866233.html（这是是通过hadoop/bin/hadoop fs -setrep -R 3 /tmp/hadoop-hadoop/mapred，只是通过设置让刚目录下的文件副本数变为3；Hdfs逻辑空间和物理空间/article/255ops运维工具(hadoop,hive,python,R等)/category/41理解JVM GC(Jvm内存的理解)/article/283对于JVM来说，内存分为三个区域：年轻代、年老代和持久代。年轻代和年老代用来存放Java进程中的变量，持久代用于放Java类信息。使用jstat查看当前Java进程JVM各区的情况/art/201001/175883.htm年轻代（Young Generation）、年老点（Old Generation）和持久代（Permanent Generation）。持久代:用于存放静态文件，如今Java类、方法等。持久代对垃圾回收没有显著影响，但是有些应用可能动态生成或者调用一些class，例如Hibernate等，在这种时候需要设置一个比较大的持久代空间来存放这些运行过程中新增的类。持久代大小通过-XX:MaxPermSize=N进行设置java.lang.OutOfMemoryError: PermGen space及其解决方法??/ly_qmoa/blog/static/26336054201512792854131/问题终于解决了,用的就是第一种方法.?修改TOMCAT_HOME/bin/catalina.sh?在“echo Using CATALINA_BASE:?? $CATALINA_BASE”上面加入以下行：?JAVA_OPTS=-server -XX:PermSize=64M -XX:MaxPermSize=128m?/taijianyu/article/detailsermGen space的全称是Permanent Generation space,是指内存的永久保存区域,这块内存主要是被JVM存放Class和 Meta信息的,Class在被Loader时就会被放到PermGen space中,它和存放类实例(Instance)的Heap区域不同,GC(Garbage Collection)不会在主程序运行期对PermGen space进行清理，所以如果你的应用中有很多CLASS的话,就很可能出现PermGen space错误,这种错误常见在web服务器对 JSP进行pre compile的时候。如果你的WEB APP下都用了大量的第三方jar, 其大小超过了jvm默认的大小(4M)那么就会产生此错误信息了。解决方法：手动设置MaxPermSize大小修改TOMCAT_HOME/bin /catalina.sh在“echo Using CATALINA_BASE:?? $CATALINA_BASE”上面加入以下行：JAVA_OPTS=-server -XX:PermSize=64M -XX:MaxPermSize=128m建议：将相同的第三方jar文件移置到 tomcat/shared/lib目录下，这样可以达到减少jar 文档重复占用内存的目的。堆设置------------- catalina.sh（可以搜索这个文件）-Xms?:初始堆大小-Xmx?:最大堆大小-XX:NewSize=n?:设置年轻代大小-XX:NewRatio=n:?设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4-XX:SurvivorRatio=n?:年轻代中Eden区与两个Survivor区的比值。注意S