Egg非结构化数据库软件-设计说明书.pdfVIP

产品概述 产品介绍 Egg 是一个高性能、可扩展、并支持分布式存贮的非结构化数据库，同时也具备了部分 非关系型数据库具备的结构化查询功能。 该类型的数据库被广泛应用于搜索引擎、 海量信息 检索系统、音频视频管理系统等领域，成为这些领域中必不可少的一个组成部分。 Egg 是一 个完全由 C 编写的，成熟的软件，并且是埃帕 Cooling 搜索引擎软件、 Cooling 云桌面平台 软件、 Cooling 云输入法的重要组成部分，已经运用到了互联网、信息检索、数据挖掘、虚 拟化等多个领域中。 行业背景 随着互联网的不断发展，搜索、云计算、 WEB 2.0 等全新的应用模式不断涌现出来。这 些新应用都有着一些非常显著的特点，如：信息量巨大、 信息结构化程度低、信息更新频度 高、信息增长幅度大，并发访问频繁等。 传统的关系型数据库，虽然能够胜任企业级别的信 息管理，但在处理互联网级别的应用时，往往无法满足于以上的特点，暴露出了很多问题。 海量数据的高效存贮与访问要求 海量数据应用中最早，最典型的应用是搜索引擎；最有发展的是云计算；最流行的是 WEB2.0 中的 SNS 社区。 据 CNNIC 统计，截止 2009 年底， 仅中国的网页数量就达到了 336 亿，较之 2008 年底， 增长幅度接近 100% 。搜索引擎不光要存贮这些网页的基本信息，同时又要解决平均每天几 千万网页的增长量。云计算、需要将原先用户端的应用、服务、数据移到服务端，利用服务 端的计算、 存贮、带宽、 管理优势， 提供相比传统桌面应用更有竞争力的服务方式。 WEB 2.0 中最主流的 SNS 社区，每天都要产生大量的用户动态信息，以 Facebook 为例，每月用户动 态记录就达到 2.5 亿条；另如一些 Web 门户，都已经达到上亿帐户数量。所有的此类应用 中的存贮要求，都已经超过了关系型数据库可以容纳的范围。 Google 是最早采用了廉价硬 件（ Commodity Hardware ）建立分布式存贮的互联网公司； Amazon 则在云计算平台中，采 用了 Yahoo 与 apache 合作开发的分布式文件系统 Hadoop ；Facebook 则为业界贡献了 Cassandra，这一分布式的非关系型数据库。 高可用与可扩展性的要求 关系型数据库具备一定的高可用性与可扩展性， 但这是建立在企业级可预测数据的前提 之下的。 而对互联网应用来说， 没有任何人能预测下一年新增的网页数量、 云计算平台的使 用人数以及社区将拥有的用户数。 唯一可以肯定的就是， 所有这些数据都会以一个相当快的 速度增长。 当一种存贮方式， 无法满足面对应用的增长而动态扩展， 将对互联网业务的发展， 产生严重的负面影响。 此外， 互联网应用要求所有系统都要能够全天侯提供服务， 即便系统 升级、增加设备、出现故障。而传统关系型数据库的扩展、维护都需要停止数据库实例，而 无法实现实时维护，这也导致了传统的存贮方式，无法满足目前互联网发展的需求。 高并发访问的要求 搜索引擎、云计算、WEB 2.0 每天都要面对大量的用户访问。 2010 年，Google 与 Facebook 的访问量，占据了全美访问量的 14% 。在如此大的并发下，存贮或数据库的负载将非常之 高，将达到每秒上万次读写请求。在如此大的读写压力之下， 既便使用了 Raid 之类的技术， 硬盘 IO 也已经无法承受，或是在有限的时间内完成