spark 调试及案例.docxVIP

调试Spark-shell 程序调试交互式本身可以认为是一种调试方式；或根据Sparkshell脚本，调试对应的入口Object。IDEA 程序调试程序调试分本地调试和远程调试两种：本地调试时，直接在IDEA里调试对应的类即可（根据启动该类的脚本进行模拟，模拟内容包括启动脚本中的环境变量设置等）；远程调试时，需要设置对应的Java启动选项OPTS（即JVM调试参数的设置），打开调试对象（要启动的类）对应的远程调试端口，然后在IDEA中，配置远程调试的设置，在设置中，指定远程对应的host和port，进行监听，设置完成后，启动该调试对象（根据调试对象启动脚本中对应的类，并尽可能模拟启动脚本，包括脚本中的环境变量设置等）的调试即可。如何打开远程调试，即OPTS如何设置，参考远程调试章节。说明：本文档里只写了一种方式，就是脚本启动时使用到的OPTS环境变量，实际上，可以直接在脚本的java执行代码前面，加上调试参数，这样的话，你启动时，不需要设置OPTS，而只需要在某个节点上修改启动脚本，在start-all.sh的时候，就不会影响全部节点，而只会影响修改了脚本的节点。如修改了Worker的启动脚本时，只有该节点上的Worker是打开了远程调试的。调试环境搭建IDEA调试环境需构建在Spark 安装包部署 + Spark源码的基础上。即，在调试机器上进行带Spark源码的Spark 安装