大数据平台及方案.pdfVIP

行业大数据应用开发和分析平台及案例应用 1. 背景 2000 年后，随着互联网的快速发展，互联网中网页的数量呈几何式增长， 大规模数据分析相关应用和技术开始倍受关注。至 2000 年底，全球网页的数量 已达到 40 亿，互联网用户从网络中检索信息越来越不方便，为解决这一问题， 谷歌等大型互联网公司率先建立了覆盖数十亿网页的索引库， 并为互联网用户提 供精准的检索服务， 有效地提升了互联网内容的检索效率。 随着网页库的不断增 大，需要存储、管理和处理的数据量不断增大、种类不断增多，这对互联网公司 提出新的挑战， 传统的技术在效率和效果上已经无法满足实际的应用需求。 为以 较低成本实现对以往技术无法达到的数据处理规模， Google 分别提出分布式系 统 Google File System （GFS）、分布式并行计算框架 MapReduce和分布式数据库 BigTable 等，这些技术奠定了