别再比较Hadoop和Spark了，那不是设计人员的初衷 .docVIP

别再比较Hadoop和Spark了，那不是设计人员的初衷 对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。 比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将Hadoop MapReduce与Spark作一番比较来得更明智，因为它们作为数据处理引擎更具有可比性。 过去几年，随着数据科学趋于成熟，也日益需要用一种不同的方法来处理大数据。Hadoop在一些业务应用领域的表现比后起之秀Spark更胜一筹， 不过Spark在大数据领域有其一席之地，这归功于它具有速度快、易于使用的优点。本文剖析了两大平台的一系列常见属性，包括性能、容错、成本、易用性、 数据处理、兼容性和安全性。 Hadoop和Spark方面要记住的最重要一点就是，它们并不是非此即彼的关系，因为它们不是相互排斥，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。 Hadoop的定义 Hadoop是Apache.org的一个项目，其实是一种软件库和框架，以便使用简单的编程模型，跨计算器集群