基于Hadoop的大数据计算技术-科研信息化技术与应用.PDFVIP

科研信息化技术与应用 2 0 1 2 , 3 ( 6 ) : 2 6 – 3 3 TECHNOLOGY ·技术 /  · 基于 Hadoop 的大数据计算技术 查礼 中国科学院计算技术研究所，北京 100190 摘  要： 大数据计算面对的是传统 IT 技术无法处理的数据量超大规模、服务请求高吞吐量和和数据类型异 质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献，源于 Google 的 Apache Hadoop 软件 已成为 PB 量级大数据处理的成熟技术和事实标准。本文介绍了大数据计算系统中存 储和索引两项研究工作，RCFile 和 CCIndex ，分别有效解决了大数据计算系统的存储空间问题和 查询性能问题。 关键词： 大数据；Hadoop ；行列混合式数据存储；互补式聚簇索引；云计算 Hadoop-Based Big Data Computing Technologies Zha Li Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China Abstract: Volume, Variety and Velocity are the three challenges must faced for the big data computing, which cannot be dealt with by traditional IT technologies. Benefit from numerous Internet companies’ practical applications and continuous code contribution, the Apache Hadoop software, that was stemed from google’s GFS and MapReduce, has become a mature software stack and the de facto standard of PB scale data processing. This paper introduces structuring data storage and index construction research of big data computing system, RCFile and CCIndex respectively, which are effective solutions to storage space and query performance issues. Keywords: Big Data; Hadoop; RCFile; Complementary clustering index; Cloud computing 基金项目：国家高技术研究发展计划 (863计划) (2011AA01A203) 26 查礼: 基于 Hadoop 的大数据计算技术 1  概述 为 Nutch 提供了及时的帮助。2004 年，Nutch 的分 布式文件系统 (Nutch Distributed File System ，NDFS) 近年来，越来越多的国内外互联网公司和传统 开始开发。同年，Google 在 O SDI 上发表了题为 MapReduce: Simplified Data P