“云计算”时代的海量数据存储与管理.pdfVIP

特别报道 第 7 卷  第 11 期  2011 年 11 月 “云计算”时代的 海量数据存储与管理 郭　莉　王树鹏 关键词：云计算 数据存储 中国科学院计算技术研究所 20 11年10月14 日，中国计算机学会 （CCF ）在北 大数据，大机遇 京举办的青年计算机科技论坛 （YOCSEF ）以 “‘云 计算’时代的海量数据存储与管理”为题，针对 随着存储设备性价比的攀升，目前数据的存储 “云”时代条件下对存储设备的需求和大数据管理面 量呈现快速膨胀的趋势。大数据要求存储系统的容 临的问题，邀请学者、厂商、终端用户三方代表对相 量和性能具有极大的可扩展性。EM C从存储设备供 关的问题做了深入研讨。中国科学院计算技术研究所 应商角度提出通过合存储设备、文件系统和数据分 研究员许鲁，EMC 中国研究院院长、研发中心首席技 析工具来构建完整的大数据分析堆栈，支持云时代 术官陶波和淘宝副总裁、高级研究院院长阳振坤等专 下企业级别的大数据分析与管理。 （1 ）采用基于 家分别从不同角度发表了自己的看法。 NAS的文件数据组织系统Isilon作为底层可线性扩容 解决方案。I si l on单个文件系统中超过15P B 的存储 面向云环境的存储系统展望 规模，支持高达85GB/s的吞吐量和1.2MB 的IOP S ， 具有高可靠性和自我修复能力，易于管理和系统线 云存储服务下的存储系统与传统的存储系统 性扩展的功能；（2 ）提供企业级的H ad oop与大数 相比主要具有如下的不同点：云存储系统需要提供 据处理与分析整套的数据解决方案，包括企业级的 面向多种类型的网络在线存储服务，而传统的存储 Hadoop ，海量数据并行数据库GreenPlum ，以及企 系统仅提供数据本地存储，易形成信息孤岛；云存 业级数据处理与分析云平台Chorus等。 储系统需要考虑数据的安全、可靠、以及效率等指 标，尤其在多用户，复杂网络环境下提供可靠的、 海量数据存储与管理 高效的存储服务面临更大的挑战。 因此，为了构建高可靠存储系统，应充分划分元 淘宝网目前已发展成为具有3.7亿用户的大规模 数据服务和文件服务集群粒度，合理分布数据 （元数 网站，每天支持4~5千万次更新操作，每天产生的 据），通过服务聚合、服务均衡和服务接管等技术提 更新数据量超过2.5T B 。他们提出了符合自身业务 高文件 （元数据）服务集群的服务质量。为了构建高 需求的高性能分布式数据库Oceanbase 。 适用的存储系统，在云环境下的多态环境和众多复杂 Oceanbase突破了传统的DBMS无法适用于大规 的应用程序中，应建立一种面向应用的便捷的资源管 模的数据存储与高效并发访问量的瓶颈。利用普通 理机制，通过针对具体应用模式优化资源管理，进一 的服务器搭建服务器集群，降低了硬件投资预算。 步提供定制的资源管理服务机制。 Oceanb ase具有访问效率高、数据容错，以及负载 74 第 7 卷  第 11 期  2011 年 11 月 均衡等显著特征。Oceanbase系统的设计思想是分离 未有的挑战，传统硬件设备厂商、研究学者、以及 动态数据与基准数据，动态数据单独存放在Update 终端用户，在云时代条件下都具有自己的认识和思 Server上，接收所有用户的更新操作；基准数据分 考，并积累了大量的宝贵经验和有效工具，目前建 布存放在多个节点上，支持数据并发读取操作。定 立基于云存储服务的大数据管理与分析的基本条件 期的把增量数据合并到基准数据上