传输线理论-数据科学与大数据技术.pptVIP

  • 0
  • 0
  • 约1.28万字
  • 约 79页
  • 2019-05-30 发布于天津
  • 举报
操作存储操作将数据集的元素作为一个文本文件或文本文件的集合保存在本地文件系统中的给定目录或任何其他支持的文件系统查看中文本文件的内容为代码操作将数据集的元素在本地文件系统中以的格式保存至指定路径或支持的任何文件系统该方法可作用于任意实现了的读写接口的键值对操作将分区中的每个元素组成一个然后将这个序列化映射为的元素写入为的格式不同类型的转换有些函数只能用于特定类型之间的上如和这种数值计算的操作只能用在数值上而这种键值对操作只能用在键值对上在和中这些函数都没有定义在标准的类中所以要访问这些附加功能必

5.3.2 Action操作 2.存储Action操作 (1) saveAsTextFile(path) 将数据集的元素作为一个文本文件(或文本文件的集合)保存在本地文件系统中的给定目录、HDFS或任何其他Hadoop HDFS支持的文件系统。 scala val rdd6 = sc.parallelize(Array(a,b,c,d)) scalardd6.saveAsTextFile(file:///home/ubuntu01/TextFile1) //查看TextFile1中文本文件Part-00000的内容为: a b c d 代码 5-30 5.3.2 Action操作 (2) saveAsSequenceFile(path) 将数据集的元素在本地文件系统中以sequencefile的格式保存至指定路径、Hadoop HDFS或Hadoop支持的任何文件系统。该方法可作用于任意实现了Hadoop的读写接口的RDD键值对。 5.3.2 Action操作 (3) saveAsObjectFile(path) saveAsObjectFile将分区中的每个元素组成一个Array,然后将这个Array序列化,映射为(Null,BytesWritable(Y))的元素,写入HDFS为SequenceFile的格式

文档评论(0)

1亿VIP精品文档

相关文档