原创力文档- 1、本文档共8页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
孟繁兴
010203目录Spark优点Spark与Hadoop的对比MapReduce缺点
MapReduce的缺点MapRedcue计算延迟过高，无法胜任实时、快速计算的需求，只适用于离线批处理的应用中MapReduce存在以下缺点表达能力有限磁盘IO开销大延迟高任务之间的衔接涉及IO开销在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务
Spark优点Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比Hadoop MapReduce更灵活Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制
Spark与Hadoop的对比
Spark与Hadoop的对比图 Hadoop与Spark执行逻辑回归的时间对比使用Hadoop进行迭代计算非常耗资源Spark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取数据
Spark与Hadoop的对比MapReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建弹性分布式数据集RDD对数据进行运算和cache编程范式：Map + ReduceDAG: Transformation + Action计算中间结果落到磁盘，IO及序列化、反序列化代价大计算中间结果在内存中维护存取速度比磁盘高几个数量级Task以进程的方式维护，需要数秒时间才能启动任务Task以线程的方式维护对于小数据集读取能够达到亚秒级的延迟
文档评论（0）