云计算环境下的大数据分析.pdf

陈清金，张 岩，陈存香 本期关注 云计算环境下的大数据分析 MonthlyFocus 云计算环境下的大数据分析 TheBigDataAnalysisintheCloudComputingEnvironment 1 2 1 陈清金 ，张 岩 ，陈存香 （1.联通云数据有限公司，北京100032；2.中国联合网络通信集团有限公司，北京100033） 1 2 1 Chen Qingjin ，Zhang Yan ，Chen Cunxiang （1.ChinaUnicomNetworkTechnologyResearchInstitute，Beijing 100032，China；2.China UnitedNetworkCommunicationsGroupCo.，Ltd.，Beijing100033，China） 摘 要： 关键词： 当前的大数据分析对其承载平台的性能要求越来越高，云计算技术与大数据分 大数据；云计算；数据分析；Hadoop 析相结合能够很好地适应当前数据处理技术的性能需求变化。首先介绍了大 doi：10.16463/ki.issn1007-3043.2015.05.001 数据的处理流程，然后分析了云计算与大数据分析之间的关系，指出基于云计 中图分类号：TN919.2 算的大数据分析的优势；最后，通过数据样本在Hadoop环境下的数据分析平台 文献标识码：A 的分析实例给出了大数据分析对大数据用户的价值。 文章编号：1007-3043（2015）05-0001-04 Abstract： Therequirementsofthebigdataanalysisoncarryingplatformperformanceareincreasinglyhigherandhigher.Thecombination ofthecloudcomputingandbigdataanalysiscanbewelladaptedtothechangingoftheneedsoftheperformanceinthecur- rentdataprocessingtechnology.Itfirstintroducestheprocessingofbigdata,andthenanalyzestherelationshipbetweencloud computingandbigdataanalysis,andpointsouttheadvantagesofcloud-basedbigdataanalysis.Finallyitgivesanexample runningintheHadoopenvironment,theanalysisoftheresultsshowthegreatvalueofthebigdataanalysistothecustomers. Keywords： Bigdata;Cloudcomputing;Dataanalysis;Hadoop 推广，使这个问题有了一个很好解决的途径。Google 0 前言 公司于2006年率先提出了“云计算”的概念及其体系 近年来，大数据和云计算已经成为社会各界关注 ［3］ ［4］ 内部的一系列技术 ，如分布式文件系统 、分布式数 的热点。云计算正处于高速发展时期，“数据即资源” ［5］ ［6］ 据库BigTable