《基于Hadoop的质检大数据分析的研究-论文》.pdfVIP

2014年第6期 文章编号：1009—2552(2014)06—0116—05 中图分类号：TP311 文献标识码 ：A 基于 Hadoop的质检大数据分析的研究 林宗缪，郭先超，姚文勇 (上海市质量监督检验技术研究院，上海 201114) 摘 要：随着社会生产的发展，政府监督和企业委托的产品质量检验产生了规模非常巨大的质 检数据。这些数据持续快速增长，数据类型多样化，针对对海量的质检数据进行高效率的访问， 并进行有效的分析利用，为政府和公众提供质量监管、预测和预警的帮助。现提出了一种基于 Hadoop分布式计算技术进行存储和分析质检大数据的方法，设计 了质检大数据分析的架构和主 要部分的实现代码。该设计具有 良好的高扩展性和高可用性，能满足质检大数据的存储和挖掘 等要求。 关键词：质量检测；大数据；Hadoop；分布式计算 Researchon qualityinspectbigdataanalysisbasedonHadoop LIN Zong．miao，GUO Xian．chao，YAO Wen。yong (Shangh~InstituteofQualityInspectionandTechnicalResearch，Shangh~201114，China) Abstract：With thedevelopmentofthe socialproduction，large—scale data ofquality inspection are producedbyhte governmentsupervision and enterprisecommission．These datahavebeen continued rapidgrowht，datatypesarevarious．Howtoefficientlyaccessandusemassivedaat ofqualityinspection forhelpinggovernmentandpublictoenhancequalitysupervision，qualityprediction，qualitywarning． Thepaperpresentsamethodofstoringandanalyzinguqalityinspectiondaat basedonHadoop，designs htearchitectureandrealizesthemajorcode．Thedesing hasgoodsealabilityandhighavailability，meets hterequirementsofstorageandmining． Keywords：qualityinspection；bigdata；Hadoop；distributedcomputing 0 引言 互联网公司已采用 Hadoop进行大数据的存储与分 质检机构承担着社会的质量监督检验、体系认 析应用。Hadoop主要 由 HDFS分布式文件 系 证、标准化、计量校准等，随着质检信息化的不断发 统 I5和MapReduce-6 并行编程模型组成，其主 展，质检机构产生的质量检验数据是非常庞大的。 要优势包括可扩展性、经济性、高效性以及可靠性好 传统的数据库架构存储 由于可扩展能力不强、成本 等。本文基于Hadoop分布式系统架构设计实现了 较高等方面的限制，无法满足海量数据管理的需求， 对质检大数据的分析应用，能够较好地满足质检大 海量的历史数据的价值无法得到有效利用。 数据存储与管理的要求。 在海量数据的存储与处理方面，技术发展非常 1 Hadoop相关介绍 迅速。谷歌、亚马逊、IBM和微软等公司都在此领域 Hadoop是一种以可靠、高效、可伸缩的方式进 投入了大量的科研力量，提出了多种创新的海量数