云计算环境下大规模数据处理的研究与初步实现.pdfVIP

《现代图书情报技术》版权所有，欢迎下载引用！ 请注明引用地址：云计算环境下大规模数据处理的研究与初步实现［Ｊ］，现代图书情报技术，２０１１（４）：１７－２３． 总第２０４期　２０１１年　第４期 云计算环境下大规模数据处理的研究与 初步实现 １ ２ １ 张兴旺　李晨晖 　秦晓珠 １（桂林理工大学图书馆　桂林５４１００４） ２（桂林理工大学现代教育技术中心　桂林５４１００４） 【摘要】将云计算技术引入到大规模数据处理过程中，提出在集中或分布管理的大量廉价计算机集群上构建动态 的、可扩展的、高性价比的、易使用的高性能计算平台，创建一种基于云计算的大规模数据处理的框架模型。论述 在这一环境下的大规模数据处理的方法和应用，通过搭建相应的计算平台，验证计算机集群及框架模型的可 行性。 【关键词】云计算　大规模数据　廉价计算平台　Ｈａｄｏｏｐ　ＭａｐＲｅｄｕｃｅ 【分类号】ＴＰ３９３ ＲｅｓｅａｒｃｈａｎｄＩｎｉｔｉａｌＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＬａｒｇｅ－ｓｃａｌｅＤａｔａＰｒｏｃｅｓｓｉｎｇ ＢａｓｅｄｏｎＣｌｏｕｄＣｏｍｐｕｔｉｎｇ １ ２ １ ＺｈａｎｇＸｉｎｇｗａｎｇ　ＬｉＣｈｅｎｈｕｉ　ＱｉｎＸｉａｏｚｈｕ １（ＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙＬｉｂｒａｒｙ，Ｇｕｉｌｉｎ５４１００４，Ｃｈｉｎａ） ２（ＭｏｄｅｒｎＥｄｕｃａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＣｅｎｔｅｒ，ＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕｉｌｉｎ５４１００４，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓａｌａｒｇｅ－ｓｃａｌｅｄａｔａｐｒｏｃｅｓｓｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇ，ｂｕｉｌｄｓａｄｙｎａｍｉｃ， ｓｃａｌａｂｌｅ，ｃｏｓｔ－ｅｆｆｅｃｔｉｖｅ，ｅａｓｙｔｏｕｓｅａｎｄｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍｏｎａｌａｒｇｅｏｆｃｅｎｔｒａｌｉｚｅｄｏｒｄｉｓｔｒｉｂｕｔｅｄ ｉｎｅｘｐｅｎｓｉｖｅｃｏｍｐｕｔｅｒｃｌｕｓｔｅｒ，ａｎｄｃｒｅａｔｅｓａｃｌｏｕｄｃｏｍｐｕｔｉｎｇ－ｂａｓｅｄｆｒａｍｅｗｏｒｋｆｏｒｌａｒｇｅ－ｓｃａｌｅｄａｔａｐｒｏｃｅｓｓｉｎｇｍｏｄｅｌ．Ｉｔ ａｌｓｏｄｉｓｃｕｓｓｅｓｔｈｅｍｅｔｈｏｄｓａｎｄａｐｐｌｉｃａｔｉｏｎｓｉｎｔｈｉｓｌａｒｇｅ－ｓｃａｌｅｄａｔａｐｒｏｃｅｓｓｉｎｇｅｎｖｉｒｏｎｍｅｎｔ．Ｔｈｅｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍｉｓ ｓｅｔｕｐｔｏｖｅｒｉｆｙｔｈｅｃｏｍｐｕｔｉｎｇｃｌｕｓｔｅｒａｎｄｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｉｓｍｏｄｅｌ． 【Ｋｅｙｗｏｒｄｓ】Ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ　Ｌａｒｇｅ－ｓｃａｌｅｄａｔａ　Ｌｏｗ－ｃｏｓｔｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍ　Ｈａｄｏｏｐ　ＭａｐＲｅｄｕｃｅ １　引　言 　　随着互联网时代信息与数据的飞速增长，从地理数据分析、海洋信息监控、天文信息计算处理等科学研究，到 ［１］ ＤＮＡ信息分析、医疗影像处理、海量病例存储分析等医学分析，再到商业贸易、人口普查、交通业务等日常事务 ， 数据规模都可以轻易地达到ＧＢ、ＴＢ、ＰＢ，如：沃尔玛在全球每天产生的交易记录数达２．６７亿笔；美国ＳｑｕａｒｅＫｉｌｏｍｅｔｅｒ ［２］ Ａｒｒａｙ工作时每秒产生的测量数据为２００ＧＢ ，而这些学科专业及社会领域似乎都需要针对这些大规模的数据信 息进行大量的计算，遥感学科研究组织需要计算机来计算和处理海量的航空影像；交通行业需要计算机来对大规 模的铁路运输、航空运输和航海运输的货票信息进行处理和分析；经济学家对某个国家／省份／城市／企业的发展 　　收稿日期：２０１１－０１－１７ 　　收修改稿日期：２０１１－０３－２７ 　　 本文系２０１０年度广西教育厅科研项目“基于云计算的数字化信息资源建设模型及服务体系的研究”（项目编号：２０１０１０ＬＸ１８０）的研究  成果之一