软件开发平台和工具分解.pptVIP

软件开发技术 第三章:软件开发平台与工具 2018年10月28日星期日  补充 大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技 术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是 未来竞争的焦 前比较受欢迎的 Storn, Spark,Hado。p三个大 数据处理工具都是JVM上的语言写成的 Spark由Scaa写成,是 UC Berkeley AMP lab所开源的类 Hadoop MapReduce的通用的并行计算框架, Spark基于 map reduce算法实 现的分布式计算,拥有 Hadoop MapReduce所具有的优点。 Storm由java和 clojure写成, storn的优点是全内存计算,因为内存 寻址速度是硬盘的百万倍以上,所以 storm的速度相比较 hadoop非 常快 hadoop是实现了 mapreduce的思想,将数据切片计算来处理大量的 离线数据数据。 hadoop处理的数据必须是已经存放在hds上或者类 似 hbase的数据库中,所以 hadoop实现的时候是通过移动计算到这 些存放数据的机器上来提高效率  Spark Soc Uphtnang-tast Custer Computin Spark是发源于美国加州大学伯克利分校 AMPLab的集群计算平台。它立足于内存计算, 从多迭代批量处理出发,兼收并蓄数据仓库、流 处理和图计算等多种计算范式,是罕见的全能选 手 spak已正式申请加入 Apache孵化器,从灵机 闪的实验室“电火花”成长为大数据技术平台中 异军突起的新锐。本文主要讲述 Spark的设计思 想。 Spark如其名,展现了大数据不常见的“电 光石火”。具体特点概括为“轻、快、灵和巧”  Spark Spark首先是一种粗粒度数据并行( data parallel )的计算范式。数据并行的范式决定了 Spark无 法完美支持细粒度、异步更新的操作。 Spark的计算抽象是数据流,而且是带有工作集 ( working set)的数据流 Spark的突破在于,在保证容错的前提下,用内 存来承载工作集  Spark Spark是 UC Berkeley AMP lab所开源的类 Hadoop MapReduce的通用的并行计算框架 Spark基于 map reduce算法实现的分布式计算 拥有 Hadoop MapReduce所具有的优点;但不同 于 MapReduce的是Job中间输出结果可以保存在 内存中,从而不再需要读写HDFS,因此 Spark能 更好地适用于数据挖掘与机器学习等需要迭代的 map reduce的算法