Spark性能优化与执行原理详解.pdfVIP

Spark性能Patrick

Wendell

Databricks

关于我

在Spark中从事性能基准测试和测试工作

spark‑perf的合著者，在Spark中编写了仪

器/UI组件

本次

面向现有用户

截至Spark

0.8.1版本

大纲

第1部分：Spark深入解析

第2部分：

UI与概览

第3部分：常见性能错误

为什么要深入理解？

(帕特里克,

$24),

(,

$30),

(帕特里克,

$1),

(阿伦,

$23),

(阿伦,

$2),

(

$10),

(阿伦,

$

10)

RDD

spendPerUser

=rdd

.

groupByKey()

.map(lambda

pair:

sum

.collect()

spendPerUser

=

rdd

.reduceByKey(lambda

x,

.

collect()

将所有(pair[1])数据到

网络上

y:

x

+在混洗前本地减少

SparkPerformance

PatrickWendell

Databricks

Aboutme

WorkonperformancebenchmarkingandtestinginSpark

Co-authorofspark-perf

Wrot