《大数据离线分析技术》课件——宽依赖.pptxVIP

;宽依赖介绍;宽依赖介绍;宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区，即一个父rdd的数据到多个子rdd（一对多）。

;宽依赖分为两种情况：

1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey。

1个父RDD对应所有子RDD分区，比如未经协同划分的join。;宽依赖需要所有的父分区都是可用的，必须等RDD的parentpartition数据全部ready之后才能开始计算，可能还需要调用类似MapReduce之类的操作进行跨节点传递。从失败恢复的角度看，shuffledependency牵涉RDD各级的多个parentpartition。;宽依赖和窄依赖的区别;1、窄依赖是将分区聚合到一起，收拢数据，这样就可以考虑到一些算子做此功能比如：map,filter,union,join(父RDD是hash-partitioned),mapPartitions,mapValues；

2、而宽依赖则不同，宽依赖将分区数据进行打散分开，走shuffle机制与mapreduce相同。他主要将一些数据进行洗牌和重新分组发牌。比如算子做此功能：groupByKey,join(父RDD不是hash-partitioned