面向数据密集型计算hadoop及其应用研究-中国大数据.pdfVIP

2008年伞围高性能计算学术年会 面向数据密集型计算Hadoop及其应用研究 孙兆玉袁志平黄宇光 (江南计算技术研究所无锡214(183 摘要：当前的数据密集型计算需要处理PB级数 乐、文本等多媒体信息处理，数据规模都轻易达到 据集和GB级数据流，面临着大规模数据管理、复 杂计算环境管理、可扩展计算平台等方面的难题．． 1+作时每秒产生200GB的测量数据；沃尔玛全球 每天产生2．67亿笔交易记录数据密集型计算DIC Hadoop是一种易扩展的分布式计算架构，能将廉 Intensive (Data 价PC节点联合起来提供大型计算服务一其HDFS Computing)研究目标是解决大规 Reduce并行框架为模数掂集和数据流的计算问题，目前同内外各研究 提供大规模存储管理，其Map 用户提供容易使用的并行编程模式。本文研究 Hadoop架构并探讨在数据密集型计算中的应用．． 累了重要的知识基础。而孕育于开源项目的 关键词：数据密集型计算分布式计算HadoopHadoop提供了一种扩展性和效率更为优秀的分布 HDFS 式计算半台，吸引了业界众多／J量(Yahoo!尤为 Map—Reduce备份任务 突m)投入，汲取了各种先进算法思想(如：GFS…】、 The of onthe ApplicationHadoop Map—Reduce”】等)，使其在系统架构、计算效率、 Data-Intensive Computing 通用性方面表现m一定优势”“。 SUNZhao‘。YuYUAN HUANG Zhi‘。Ping Yu—Guang 2 DlC关键问题 Instituteof (Jiangnan ComputingTechnologWuxi， 214083) 数据密集型计算DIC主要包括科学计算、智能 isa kindofscalabledistributed信息处理，它对目前硬件、软件环境和算法设计提 Abstract：Hadoop architecturewhichcancombinea lotof 出了下述挑战：1)大规模数据存储、管理和传输。 computing PCsto It’s DIC的海量数据包括输入、中间步骤和结果”，既 inexpensiveprovidesupercomputing HDFS scale and 要保证数据安全，又必须兼顾应用设计从而减少计 providelarge storageMap—Reduce framework an 算中数据访问效率瓶颈；2)管理复杂计算环境。、 parallelcomputing prepareeasy modelforusers architecture programming Hadoop’s 在数据密集型计算系统环境里，不同厂商提供异种 andits onData—Intensivewill 架构的计算设备会同时存在；3)可扩展计算需求。 application Computing bediscussedinthis 数掂规