hadoop程序远程调试.docVIP

hadoop程序远程调试 JPDA 简介 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前端）组成。它的设计目的是让调试人员在任何环境中都可以进行调试。 更详细的介绍，您可以参考使用 Eclipse 远程调试 Java 应用程序 JDWP 设置 JVM本身就支持远程调试，Eclipse也支持JDWP，只需要在各模块的JVM启动时加载以下参数： dt_socket表示使用套接字传输。 address=8000 JVM在8000端口上监听请求，这个设定为一个不冲突的端口即可。 server=y y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。 suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。 需要在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程 #远程调试namenode export HADOOP_NAMENODE_OPTS=-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y #远程调试datanode export HADOOP_DATANODE_OPTS=-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y #远程调试RM export YARN_RESOURCEMANAGER_OPTS=-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y #远程调试NM export YARN_NODEMANAGER_OPTS=-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y 添加完 启动namenode 或者 datanode 到eclipse中搜索namenode 然后attach source 关联源码 关联源码后，记得在要调试的地方打上断点 然后搜索namenode 找到它的main方法 右键debug configuration 双击 remote Java application 修改host port 要上上述一致 点击apply namenode datanode 当进入到自己设置的断点处 说明调试正确 ，再根据自己的需求进行详细调试就OK啦