Spark各个知识点总结.PPT

Spark的核心概念 向Spark传递函数： 需要注意的地方： 如果你传递的函数是一个对象的成员，或者包含一个对象中字段的引用(例如self.field)，Spark会把整个对象都发送到工作节点上，这样会比仅仅发送你关心的信息要大很多，而且有时候会带来一些奇怪的问题。 传送信息太多解决方法：我们可以把关心的字段抽取出来，只传递关心的字段。 奇怪问题的避免：序列化包含函数的对象，函数和函数中引用的数据都需要序列化(实现Java的Serializable interface)。 如果Scala中出现NotSerializableException，一般情况下，都是因为没序列化。 RDDs介绍 RDDs介绍 RDDs的创建方法 Scala的基础知识 RDDs介绍 RDDs Resilient distributed datasets(弹性分布式数据集，简写RDDs)。 一个RDD就是一个不可改变的分布式集合对象，内部由许多partitions(分片)组成，每个partition都包括一部分数据，这些partitions可以在集群的不同节点上计算 Partitions是Spark中的并行处理的单元。Spark顺序的，并行的处理partitions。 RDDs 是 Spark的分发数据和计算的基础抽象类，是Spark的核心概念。 RDD可以包含 Python, Java, 或者 Scala