Spark战胜了Hadoop-天津大学计算机学院.pptVIP

Spark Core 包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的。 RDD是Spark中对数据和计算的抽象，是Spark中最核心的概念，它表示已被分片/划分（partition），不可变的并能够被并行操作的数据集合。对RDD的操作分为两种transformation和action。Transformation操作是通过转换从一个或多个RDD生成新的RDD。Action操作是从RDD生成最后的计算结果。在Spark最新的版本中，提供丰富的transformation和action操作，比起MapReduce计算模型中仅有的两种操作，会大大简化程序开发的难度。 RDD的生成方式只有两种，一是从数据源读入，另一种就是从其它RDD通过transformation操作转换。一个典型的Spark程序就是通过Spark上下文环境（SparkContext）生成一个或多个RDD，在这些RDD上通过一系列的transformation操作生成最终的RDD，最后通过调用最终RDD的action方法输出结果。 每个RDD都可以用下面5个特性来表示，其中后两个为可选的： 分片列表（数据块列表） 计算每个分片的函数 对父RDD的依赖列表 对key-value类型的RDD的分片器（Partitioner）（可选