在spark中一切基于rdd-天津大学计算机学院.ppt

Spark Core 包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的。 RDD是Spark中对数据和计算的抽象，是Spark中最核心的概念，它表示已被分片/划分（partition），不可变的并能够被并行操作的数据集合。对RDD的操作分为两种transformation和action。Transformation操作是通过转换从一个或多个RDD生成新的RDD。Action操作是从RDD生成最后的计算结果。在Spark最新的版本中，提供丰富的transformation和action操作，比起MapReduce计算模型中仅有的两种操作，会大大简化程序开发的难度。 RDD的生成方式只有两种，一是从数据源读入，另一种就是从其它RDD通过transformation操作转换。一个典型的Spark程序就是通过Spark上下文环境（SparkContext）生成一个或多个RDD，在这些RDD上通过一系列的transformation操作生成最终的RDD，最后通过调用最终RDD的action方法输出结果。 每个RDD都可以用下面5个特性来表示，其中后两个为可选的： 分片列表（数据块列表） 计算每个分片的函数 对父RDD的依赖列表 对key-value类型的RDD的分片器（Partitioner）（可选） 每个数据分片的预定义地址列表（如HDFS上的数据块的地址）（可选） Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。对熟悉Hive和HiveQL的人，Spark可以拿来就用。 Spark Streaming：允许对实时数据流进行处理和控制。很多实时数据库（如Apache Store）可以处理实时数据。Spark Streaming允许程序能够像普通RDD一样处理实时数据。 MLlib：一个常用机器学习算法库，算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法，比如分类、回归等需要对大量数据集进行迭代的操作。之前可选的大数据机器学习库Mahout，将会转到Spark，并在未来实现。 逻辑上的计算过程：DAG 主要应用场景 大作业提交及验收 * * * * * * 配置介绍:配置hadoop 1.到apache官网下载Hadoop 解压后修改名字为hadoop：mv Hadoop-2.2.0 Hadoop 2.修改profile文件：gedit /etc/profile 添加如下代码： export HADOOP_INSTALL=/home/zhao/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL 保存关闭后，source /etc/profile使生效 配置介绍:配置hadoop 3进入hadoop/etc/hadoop目录，编辑hadoop-env.sh文件 加入 export JAVA_HOME=/home/zhao/jdk1.7.0_80 4编辑core-site.xml文件，加入如下代码： configuration property name/name valuehdfs://master:9000/value /property property namehadoop.tmp.dir/name value/home/zhao/hadoop/tmp/value /property /configuration 配置介绍:配置hadoop 5.编辑yarn-site.xml文件： configuration property ? nameyarn.nodemanager.aux-services/name ? valuemapreduce_shuffle/value /property property ? nameyarn.nodemanager.aux-services.mapreduce.shuffle.class/name ? val