大数据处理两套解决方案.docx

? ? ? ? ? 大数据处理两套解决方案 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 导读:对于大数据处理两套解决方案,1、移动数据,把数据分发到多个计算节点进行计算;第一种是MPI,常用于科学计算,2、移动计算,将计算能力移到数据存储位置;Hadoop是第二种。 传统的数据库在处理大数据时会显得性能十分低,所以需要分而治之。这个就是hadoop的精髓,小的数据量存在分布式的环境里,处理的的性能反而会降低。hadoop是面向至少TB,PB级的数据量,才能最大的发挥它的优势。? 1TB = 1024G 1PB = 1024T 1EB = 1024P 因此,对于大数据处理两套解决方案 1、移动数据,把数据分发到多个计算节点进行计算;第一种是MPI,常用于科学计算? 2、移动计算,将计算能力移到数据存储位置;Hadoop是第二种, 为什么移动计算能解决大数据处理问题? 因为hadoop的分块大小默认是64M,大数据可以充分的利用网络IO,否则hadoop的性能不能达到峰值。所以大家的思想就是hadoop在处理较大规模的数据时性能才是最理想的。? Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为?Lucene的子?项目?Nutch的一部分正式引入。? Hadoop 的最常见用法之一是 Web 搜索。虽

文档评论(0)

1亿VIP精品文档

相关文档