SparkPipe调用外部程序.pptx

Spark Pipe调用外部程序 目录概述步骤一212222324步骤二步骤三 概述1 概述 spark 中，有种特殊的Rdd，即pipe，它提供了调用外部程序如基于CUDA的C++程序，使其能够更快的进行计算。caffe on spark 和tensorflow on spark 也是基于此机制，那么，spark和外部程序是怎么交互的呢？下面通过一个简单的案例验证。 步骤一2 步骤一  //创建外部脚本#!/bin/shecho Running shell scriptwhile read LINE; do echo ${LINE}!done 步骤二3 步骤二  //spark rdd 调用 1.val data = sc.parallelize(List(hi,hello,how,are,you)) 2.val scriptPath = /root/echo.sh 3.val pipeRDD = dataRDD.pipe(scriptPath) 4.pipeRDD.collect() 查看运行结果，发现为： Array[String] = Array(Running shell script, hi!, Running shell script, hello!, Running shell script, how!, Running