sparkrdma使用rdma技术提升spark的shuffle性能-过往记忆.pdf

下载文档 降价啦

7
0
约1.28万字
约 8页
2018-04-08 发布于天津
举报
版权申诉
保障服务

sparkrdma使用rdma技术提升spark的shuffle性能-过往记忆.pdf

1、本文档共8页，其中可免费阅读3页，需付费100金币后方可阅读剩余内容。
2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。
3、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
4、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。

使用技术提升的性能大数据博客使用技术提升的性能基础在框架中是连接和之间的桥梁要读取到的输出必须要经过这个环节而和过程通常不在一台节点这意味着阶段通常需要跨网络以及一些磁盘的读写操作因此的性能高低直接影响了整个程序的性能和吞吐量与计算框架一样作业也有阶段通常以来划分而之间的数据交互是需要来完成的整个过程图如下所示如果想及时了解或者相关的文章欢迎关注微信公共帐号从上面简单的介绍可以得到以下几个结论不管是还是作业操作是很消耗资源的这里的资源包括磁盘还有网络我们需要尽可能地避免操作而目前最新的内置只支持

SparkRDMA：使用RDMA技术提升Spark的Shuffle性能 Spark大数据博客 - SparkRDMA：使用RDMA技术提升Spark的Shuffle性能 Spark Shuffle 基础在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节点，这意味着 Shuffle 阶段通常需要跨网络以及一些磁盘的读写操作，因此