海量数柿据处理与存储调研.docxVIP

海量数据处理与存储调研 Hadoop发展现状[[] [] 基于 Hadoop 的海量数据处理平台研究.kdh Apache Nutch 是 Hadoop 的源头，该项目始于 2002年， 是Apache Lucene的子项目之一。 至 2004年，Google在OSDI上公开发表了题为 “MapReduce: simplified data processing on large clusters”的论文，受到启发的 Doug C 等人 开 始 实 现 MapReduce 计 算 框 架 并 与 NDFS (Nutch distributed file system) 结合支持 Nutch 的主要算法 。 至2006 年逐渐成为一套完整而独立的软件 ，起名为 Hadoop。2008 年初，Hadoop 成为 Apache 的顶级项目，应用到除Yahoo! 以外的很多互联网公司。 Hadoop 技术已经在互联网领域得以广泛的应用 ， 同时也得到研究界的普遍关注。 如 Yahoo! 使用 4 000 节点的机群运行 Hadoop， 支持广告系统和 Web 搜索的研究；Facebook 使用 1 000 节点的机群运行 Hadoop，存储日志数据，支持其上的数据分析和机器学习；IBM 的蓝云产品也直接将 Hadoop 软件集成到自己本身的云计算平台上；百度用 Hadoop 处理每周 20