spark常见操作指南.docxVIP

一、转换操作（Transformations）??

惰性操作，仅记录转换逻辑，触发Action时才执行计算

?单列数据操作?

?**map(func)**?：一对一转换

python

rdd.map(lambdax:x*2)#[1,2]→[2,4]

?**filter(func)**?：条件过滤

python

rdd.filter(lambdax:Cinx)#[ABC,BCD]→[ABC,BCD]（保留含C的字符串）

?**flatMap(func)**?：一对多展开

python

rdd.flatMap(lambdas:s.split())#[helloworld]→[h,e,l,l,o,...]

?**distinct()**?：去重

python

rdd.distinct()#[a,a,b]→[a,b]

?键值对操作（PairRDD）??

?**reduceByKey(func)**?：Key聚合（预聚合优化）

python

rdd.reduceByKey(lambdaa,b:a+b)#[(a,1),(a,2)]→[(a,3)]

?**groupByKey()**?：Key分组（慎用，易导致数据倾斜）

python

rdd.groupByKey()#[(a,1),(a,2)]→[(a,[1,2])]

?**join(other)**?：内连接

python

rdd1.join(rdd2)#[(Andy,Apple)]+[(Andy,Google)]→[(Andy,(Apple,Google))]

?**cogroup(other)**?：多数据集分组合并

python

rdd1.cogroup(rdd2)#[(a,[1,2]),(b,[3])]+[(a,[4])]→[(a,([1,2],[4]))]

?数据重组与采样?

?**repartition(num)**?：增加分区（触发Shuffle）

python

rdd.repartition(10)#扩大并行度

?**coalesce(num)**?：减少分区（避免Shuffle）

python

rdd.coalesce(2)#合并小文件

?**sample(withRepl,frac)**?：随机采样

python

rdd.sample(False,0.1)#无放回采样10%数据

二、动作操作（Actions）??

触发计算并返回结果到Driver或存储系统

?操作? ? 说明? ? 示例?

collect() 返回所有数据到Driver（小数据使用！） rdd.collect()→[1,2,3]

count() 统计元素总数 rdd.count()→3

take(n) 返回前n个元素 rdd.take(2)→[1,2]

reduce(func) 聚合所有元素（需满足结合律） rdd.reduce(lambdaa,b:a+b)→10

saveAsTextFile(path) 保存为文本文件（HDFS/Local） rdd.saveAsTextFile(hdfs://data/output)

foreach(func) 对每个元素执行操作（如写入数据库） rdd.foreach(lambdax:write_to_db(x))

三、数据读写操作?

?读取数据源?

?文本/CSV?：

python

df=spark.read.csv(path.csv,header=True,inferSchema=True)

?JSON?：

python

df=spark.read.json(data.json)#需每行一个JSON对象

?Parquet（列式存储）??：

python

df=spark.read.parquet(data.parquet)#高性能压缩格式

?Hive表?：

python

spark=SparkSession.builder.enableHiveSupport().getOrCreate()

df=spark.sql(SELECT*FROMdb.table)

?保存数据?

文本/CSV：df.write.csv(output/)

Parquet：df.write.parquet(output.parquet)

Hive表：df.write.saveAsTable(db.new_table)

性能优化关键技巧?

案例1