spark开发指南.docVIP

1、重定向方式读入scala文件（执行scala脚本） /usr/local/spark-1.2.0-bin-hadoop2.4/bin/spark-shell test_scala01.scala Spark运行调试方法与学习资源汇总 /melodyishere/article/details最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下： 解决spark运行调试问题的四把“尖刀”： 1、Log 包括控制台日志、主从节点日志、HDFS日志等。许多错误可以通过日志，直接对错误类型、错误来源进行准确定位，因此，学会读取和分析Log是解决问题的第一步。 2、Google 确定错误类型和原因后，就可以使用Google在Spark User List、Google Group等各类Spark学习社区和论坛进行求助，而大部分问题都是可以找到答案的。 3、官网配置文档 大部分问题都是配置问题引起的，如何准确配置，需要结合官方说明文档进行配置，而其中的Tuning Spark内容，也是每个Spark实践者必须了解和掌握的，推荐精读： Tuning Spark(内存调优): /docs/1.0.0/tuning.html Spark Configuration（基本配置）: /docs/1.0.0/configuration.html 4、官网Example 各个子项目都有对应的Example和源码，可以从源码的src子文件夹里找到，而在每个子项目的官网说明上也有相应的代码示例，也可以作为参考。 这4个方法是解决问题的第一位要素，特别地，要会通过Log反推错误来源，定位故障原因，然后第一时间想到谷歌，把错误关键词粘贴查找寻求解答。而大部分人的问题其实主要都是配置问题，1和2其实就能解决了。3和4主要用来模仿学习，照猫画虎，学以致用，不成功便成仁。 交流和互动也很重要，把握国内Spark研究的前沿，就要善于利用和挖掘各类互联网资源，这里，推荐一些博客、微博、QQ学群供大家参考学习： 知名博主： 徽沪一郎：/hseagle/category/569175.html fxjwind：/fxjwind/category/518904.html 张包峰：/zbf8441372/article/category/1556747 高彦杰：/gaoyanjie55 saisai_shao：http://jerryshao.me/ 微博大牛： hashjoin，Databricks大数据公司创始人之一，UC Berkeley AMPLab：/hashjoin Andrew-Xia：/u/1410938285 CrazyJvm：/476691290 明风Andy，淘宝技术部，数据挖掘与计算团队负责人：/mingfengandy saisai_shao: /u/2122584747 连城：/lianchengzju 张包峰：/pelickzhang 王联辉:/u/1685831233 徽沪一郎：/eagleonline Spark学习资料 Fast Data Processing with Spark，/s/1bnnJHlP Scala学习资料： 快学Scala，/s/1gdJzElt Scala Cookbook，/s/1jGn5zPc Scala编程，/s/1pJ0Szgv Spark论文： NSDI-2012，/s/1jGifNMm [博士论文]Matei Zaharia，/s/1nt1C2BR QQ群： Spark零基础学习@367106111 Spark 快速理解 /colorant/article/details/8255958 BLOG：/colorant/ 更多云计算相关项目快速理解文档 /colorant/article/details/8255910 ==是什么 == 目标Scope（解决什么问题） 在大规模的特定数据集上的迭代运算或重复查询检索 官方定义 aMapReduce-like cluster computing framework designed for low-latency iterativejobs and interactive use from an interpreter 个人理解 首先，MapReduce